Kodowanie ANS dr. Jarosława Dudy językiem światowej elektroniki! Właśnie został zatwierdzony standard JPEG XL zapisujący polskim ANS

Monika Sroczyńska: Właśnie został zatwierdzony światowy standard JPEG XL zapisujący polskim ANS? Panie Doktorze, co to oznacza w praktyce?
Dr Jarosław Duda: Wkrótce zdjęcia i grafiki będą zapisywane jako JPEG XL, a to oznacza ogromne zmiany, oczywiście na plus - nawet 3-krotne zmniejszenie rozmiaru plików graficznych bez utraty ich jakości, nowe funkcje jak HDR, znaczne zwiększenie szybkości ich przesyłania, lepszą jakość grafik na stronach www i platformach społecznościowych oraz sprawniejsze i szybsze otwieranie stron internetowych. Będzie to także zmniejszenie zużycia energii oraz odciążenie nośników i łącz internetowych.

MS: Obecnie niemal wszystkie komputery i smartfony na świecie wykorzystują pańską metodę kompresji danych. Czy podejmowaniu pierwszych działań spodziewał się pan, że kodowanie ANS zrewolucjonizuje cały świat wirtualny?
JD: Od początku chciałem, aby rozwiązanie było ogólnodostępne i bezpłatne dla użytkowników komputerów, smartfonów. Jestem naukowcem, nie opatentowałem tej metody, bo wierzę, że takie podstawowe koncepcje powinny być darmowe i dostępne dla wszystkich. Też spieniężenie takich pomysłów wymaga zespołu, a ja zawsze byłem z tym sam.

MS: Byli tacy, którzy chcieli sobie przywłaszczyć pańską metodę?
JD: Wynalazek próbował opatentować Google, przeciwko czemu musiałem wyrazić oczywisty sprzeciw. Od 2014 roku prowadziłem z Google korespondencję mailową i za pośrednictwem publicznego forum. Pomagałem tej firmie w adaptacji ANS do kompresji plików wideo. W czerwcu 2017 roku, przez zupełny przypadek natrafiłem na wniosek patentowy Google z grudnia 2015 r. na użycie ANS w kompresji wideo. Na szczęście amerykański urząd patentów i znaków towarowych odrzucił wniosek złożony przez Google. Dzięki temu kodowanie ANS jest nadal ogólnodostępne i bezpłatne dla wszystkich użytkowników na całym świecie.

MS: Skoro zaczęliśmy już od retrospekcji, proszę przybliżyć czym jest sama kompresja danych i dlaczego jest taka ważna we współczesnym świecie elektroniki?
JD: Gdyby nie kompresja przesyłanych danych, sieć i komputery szybko by się zapchały. Kompresja to po prostu efektywny zapis danych - przedstawienie informacji możliwie krótkim ciągiem bitów: zer i jedynek. Taka optymalizacja zapisu jest względnie niedroga, dając oszczędności dla wielkości plików, kosztu i czasu ich przesłania, np. przez internet.

W związku z tym prawie wszystkie używane i przesyłane przez nas dane są dzisiaj poddane kompresji. Przykładowo dla wideo zmniejsza się takie pliki nawet 1000 razy, co jest kluczowe np. dla wideokonferencji. Łatwo dostępne dziś oglądanie wideo w rozdzielczości 8K bez kompresji wymagałoby kilkuset typowych łączy internetowych.

MS: Język polski nie jest szczególnie znany na świecie, ale polski „język komputerowy” wprost przeciwnie. Czym jest ANS?
JD: Podczas gdy ludzie porozumiewają się językami np. polskim czy angielskim, które pozwalają przedstawić jakąś treść w postaci ciągu liter, urządzenia elektroniczne w tym celu używają kodowań – przedstawiając treści w postaci ciągów bitów: 0 i 1. Od kilku lat podstawowym używanym kodowaniem jest ANS.

ANS to nowy sposób zapisu na ciągi bitów, tłumaczenie ciągów symboli mających konkretne znaczenia. Trudnością jest to, że często pojawiające się symbole niosą mniej informacji niż te rzadkie.

Historycznie podstawowa metoda to kodowanie Huffmana z 1952 r., bezpośrednio tłumacząca ciągi bitów na symbole np. 0 → A, 10 → B, 11 → C. Jest to tanie obliczeniowo, ale zazwyczaj nieoptymalne, ponieważ symbol może nieść ułamkową ilość, np. jedną dziesiątą bita informacji, podczas gdy Huffman potrzebowałby dla niego użyć przynajmniej 1 bit. Tę "rozrzutność" naprawiało zapoczątkowane ok. 1976 roku tzw. kodowanie arytmetyczne, ale znacznie większym kosztem obliczeniowym - było wolniejsze, potrzebowało więcej energii i sprzętu.

Dopiero polski ANS pozwolił połączyć zalety tamtych metod - pracując z ułamkowymi bitami, jak kodowanie arytmetyczne, ma koszt obliczeniowy podobny do kodowania Huffmana; pozwala na to samo, co kodowanie arytmetyczne, ale nawet do 30 razy szybciej. Dzięki temu od 2015 roku nowe kompresory są już zwykle budowane na ANS i to się raczej nie zmieni.

MS: Jak to się stało, że wziął pan na warsztat tak ważny dziś temat?
JD: Pierwszy wariant (uABS) wprowadziłem w 2006 roku w swojej pracy magisterskiej z fizyki (trzeciej po informatyce i matematyce) – potrzebowałem dobrą metodę, nie znałem wtedy kodowania arytmetycznego, więc zrobiłem po swojemu. ANS to Asymmetric Numeral Systems – czyli asymetryczne systemy liczbowe. Wyszedłem ze zwykłych powszechnie używanych systemów liczbowych jak dwójkowy w komputerach, czy dziesiątkowy w życiu codziennym – one są optymalne gdy wszystkie cyfry są tak samo częste. ANS intuicyjne „uasymetrycznia” je do dowolnych wybranych częstości cyfr. Szybkość zawdzięcza tej prostocie, jest to dość naturalny sposób gdy się go już pozna: zapisz informację w jedną liczbę, zamiast w przedział w kodowaniu arytmetycznym.

Praktyczniejszy wariant tANS (stablicowany) wprowadziłem w 2007, były wtedy jakiejś pierwsze dyskusje, ale dopiero pod koniec 2013 roku jego zalety zostały docenione przez praktyka: Yanna Colleta, który ze 2 lata później wprowadził kompresor Zstandard – obecnie wypierający klasyczny „zip” dzięki byciu 3-5 razy szybszym, też pozwalając na
znacznie lepszą kompresję. Jest on oficjalnie używany przez dziesiątki firm zaczynając od Facebook, Amazon, IBM, jest także używany w jądrze systemu Linux. Też zainspirował Apple do kompresora LZFSE, który jest obecnie podstawowym dla ich sprzętu (iPhone, Mac, iWatch). Wariantu tANS używa również popularny w grach komputerowych kompresor Oodle Kraken, m.in. przetwarzający dane w sercu konsoli Sony Playstation 5.

W 2013 wprowadziłem wariant rANS (przedziałowy), którym m.in. prawdopodobnie będzie zapisany materiał genetyczny osoby poddającej się sekwencjonowaniu DNA (kompresor CRAM), jest on także użyty w Google Draco kompresorze 3D używanym m.in. przez Pixar. Używa go też kompresor JPEG XL, który właśnie uzyskał standaryzację ISO, rozwijany głównie przez Google. Prawdopodobnie wyprze on używany przez nas wszystkich do zapisu zdjęć i obrazków JPEG z 1992 – oszczędzając miejsce około 3 razy, przyspieszając ładowanie stron i dodając brakujące funkcje jak HDR.

MS: Sporo tego. Kto dziś tak naprawdę korzysta z metody ANS?
JD: Praktycznie każdy użytkownik elektroniki już ma dane zapisane tą polską metodą poprawiającą działanie naszych urządzeń. Stała się ona podstawowym sposobem zapisywania informacji i przesyłania jej po całym świecie, a jej popularność cały czas rośnie.

Obecnie używamy ANS w naszych smartfonach, używających systemów opartych na Linux, którego jądro zapisuje teraz wspomnianym kompresorem Facebook Zstandard opartym na tANS. Użytkownicy Apple iPhone, Mac, iWatch mają dane zapisane LZFSE także na tANS. Grając w gry komputerowo często nieświadomie używamy Oodle Kraken lub Zstandard na tANS, a poddając się sekwencjonowaniu DNA tłumaczymy nasz kod biologiczny na rANS w kompresorze CRAM. Już niebawem otwierając strony czy robiąc zdjęcia będziemy używać rANS w JPEG XL.

MS: A czy kodowanie ANS przekłada się w jakiś sposób na bezpieczeństwo danych użytkowników komputerów i telefonów?
JD: Sama kompresja nie ma bezpośredniego wpływu na bezpieczeństwo, aczkolwiek tANS daje możliwość przy okazji szyfrować tak przetwarzane dane. Właśnie mamy grant OPUS Narodowego Centrum Nauki, w którym to badamy, licząc że w przyszłości będzie używane dla taniej kompresji z szyfrowaniem szczególnie danych ze zdalnych sensorów IoT.

MS: Podsumowując i patrząc przed siebie, jaką pan widzi przyszłość narzędzi do kodowania?
JD: Wytwarzamy niewyobrażalne ilości danych, z roku na rok coraz więcej – np. wideo 4K czy nawet 8K, powoli spełnia się wizja IoT z komunikacją wszelkich urządzeń dookoła nas dzięki m.in. 5G, wyłaniają się kolejne zastosowania jak rzeczywistość wirtualna/rozszerzona, autonomiczne pojazdy etc. Kompresja danych jest kluczowa żeby sobie radzić z przesyłaniem i zapisywaniem tego oceanu informacji.

Polski sposób zapisu ANS pozwolił poprawić jej kluczowe parametry – oszczędzając czas, łącza komunikacyjne, energię np. baterię smartfonu, nośniki pamięci, koszt sprzętu – dzięki temu stając się tym podstawowym języki elektroniki, smartfonów, komputerów, a z czasem jego znacznie będzie tylko rosło.

MS: Na koniec pozwolę sobie zadać pytanie, które nurtuje wielu w tym kraju? Dlaczego nie jest pan jednym z najbogatszych wizjonerów współczesnych technologii? Internauci uważają, że powinien pan dostać nagrodę Nobla, zresztą słusznie.
JD: Rozczaruję wszystkich, w tej dziedzinie Nobla nie przyznają. A wracając do pytania, nigdy nie dbałem o zaszczyty, nie otrzymałem z tego tytułu żadnej nagrody. Jedyną, jest moja osobista satysfakcja.

MS: Bądźmy szczerzy, to przykre. Niemniej jednak według rankingu Platformy Nauki, który ujął w ramy 10 najważniejszych osiągnięć naukowych minionego roku metoda kodowania ANS zajmuje 1 miejsce. Wyprzedziła tym samym trzech laureatów nagrody Nobla z fizyki oraz wynalezienie szczepionki przeciw COVID-19.
JD: To ciekawe wyróżnienie, jestem mile zaskoczony.

MS: Zakładam, że nie jedyne i tego też panu życzę. Bardzo dziękuję za rozmowę.
JD: Ja również dziękuję za spotkanie.