Nova metoda umetne inteligence zmanjša znanstvene nabore podatkov do 100-krat
Raziskovalci v Nacionalnem pospeševalnem laboratoriju SLAC so razvili metodo stiskanja na osnovi nevronskih mrež, ki je v preizkusih zmanjšala količine znanstvenih podatkov za faktorje od 10 do 100, odvisno od vhodnih podatkov in zahtevane stopnje natančnosti. Ključna zamisel ni enako stiskati vseh delov podatkov, temveč ohraniti strukture na različnih prostorskih skalah, ki bi lahko bile ključne za znanstveno analizo. Študija je bila objavljena v reviji Nature Machine Intelligence.
Znanstveni instrumenti ustvarjajo več podatkov, kot jih lahko infrastruktura sprejme
Motivacija za novo metodo izhaja iz zelo praktičnega problema sodobne eksperimentalne znanosti. Ločljivost senzorjev in hitrosti meritev naraščajo tako hitro, da instrumenti naslednje generacije začenjajo ustvarjati podatkovne tokove, ki jih je vse dražje v celoti shranjevati, prenašati in pozneje obdelovati.
Običajno stiskanje z izgubami lahko zmanjša velikost datotek, vendar lahko odstrani tudi signale z nizko amplitudo ali fine strukture. Pri navadni fotografiji taka izguba morda ni pomembna. Pri znanstveni meritvi pa lahko drobna podrobnost vsebuje prav tisto fizikalno informacijo, ki jo raziskovalci iščejo.
SLAC kot primer navaja majhne pikice, ki se pojavijo pri rentgenskih meritvah. Te strukture lahko razkrivajo notranjo urejenost, napake ali dinamiko znotraj materiala. Če jih algoritem za stiskanje obravnava kot šum, lahko zmanjša ne le velikost datoteke, temveč tudi znanstveno vrednost meritve.
Valčna analiza ločuje informacije po skali
Metoda, objavljena v reviji Nature Machine Intelligence, se imenuje WIEN-INR. Združuje valčno analizo z implicitnimi nevronskimi predstavitvami.
Najprej valčna analiza loči nabor podatkov na komponente pri različnih prostorskih skalah ter razlikuje med strukturami velikega obsega in finimi podrobnostmi. Nevronska mreža se nato nauči kompaktno predstavljati informacije na teh različnih skalah.
Ta arhitektura pomaga preprečiti pogost problem splošnonamenskega stiskanja, pri katerem se lahko široka struktura ozadja in majhna, vendar znanstveno pomembna značilnost obravnavata skoraj enako.
Po besedah raziskovalca SLAC-a Yuana Nija je metoda velikost datotek običajno zmanjšala za faktorje od 10 do 100, odvisno od izvornih podatkov in želene kakovosti. Tega rezultata pa ne bi smeli razlagati kot povsem brezizgubno stiskanje. Gre za nadzorovan kompromis med količino podatkov in zvestobo signala, zasnovan tako, da fine značilnosti, pomembne za analizo, ohrani bolje kot generični pristop stiskanja.
To je natančnejši opis, kot če bi rekli, da sistem »sploh ne izgubi nobenih podatkov«.
Sistem lahko dekodira le območje, ki ga potrebujete
Druga velika prednost metode se pokaže, ko se podatki uporabijo pozneje. Če raziskovalec iz velikega stisnjenega nabora podatkov potrebuje le majhno območje, ni treba rekonstruirati celotne datoteke.
WIEN-INR lahko dekodira le izbrano območje interesa ter to naredi pri različnih skalah in ločljivostih. SLAC navaja, da lahko dekompresija celotne velike datoteke z običajnim kodekom traja minute, ure ali celo dneve. Selektivno dekodiranje se izogne velikemu delu tega opravila.
V velikih okoljih znanstvenega računalništva je lahko ta zmogljivost prav tako pomembna kot samo razmerje stiskanja. Težava ni zgolj strošek shranjevanja. Premikanje podatkov med sistemi za shranjevanje, računskimi vozlišči in raziskovalnimi ustanovami porablja omrežno zmogljivost, energijo in čas.
Metoda je delovala pri zelo različnih vrstah podatkov
Raziskovalci svojih preizkusov niso omejili na eno samo vrsto rentgenskega nabora podatkov. Metodo so uporabili pri molekularnih meritvah in meritvah materialov, podatkih o Sončevem magnetnem polju ter navadnih fotografijah. Nevronska mreža se je lahko prilagodila različnim vrstam podatkov in se naučila značilnosti, ki so bile pomembne za vsako od njih.
Avtorji WIEN-INR ne predstavljajo kot univerzalne zamenjave za obstoječe metode stiskanja ali zmanjševanja podatkov. Namesto tega lahko deluje skupaj z njimi kot dodatna možnost v primerih, kjer je poznejše pridobivanje struktur fine skale še posebej pomembno.
K študiji so prispevali tudi raziskovalci z Univerze Kalifornije v Davisu in Univerze Carnegie Mellon. Ekipa je svoje nevronske mreže učila z uporabo superračunalnika Perlmutter v objektu NERSC ameriškega ministrstva za energijo. Članek »Multi-resolution enhancement for full-spectrum neural representations« je bil objavljen v reviji Nature Machine Intelligence 24. avgusta 2026.
Tudi evropska raziskovalna infrastruktura se spopada z enakim izzivom
Potencial metode sega daleč prek katerega koli posameznega instrumenta v SLAC-u. Evropska infrastruktura za fiziko delcev, sinhrotronsko znanost, astronomijo, podnebne raziskave in satelitsko opazovanje prav tako ustvarja hitro naraščajoče količine podatkov.
Pri tem je pomembnejše načelo kot kateri koli posamezen algoritem. Ko instrument ustvari več informacij, kot jih je praktično v celoti shraniti in prenašati, se mora podatkovni tok vse bolj zgodaj odločati, katere informacije ohraniti in pri kateri ravni zvestobe.
Vloga umetne inteligence v znanosti zato ni več omejena na iskanje vzorcev po izvedenem poskusu. Naslednji pomemben korak bi lahko bilo predstavljanje znanstvenih podatkov v obliki, ki dramatično zmanjša zahteve po shranjevanju in računalniških zmogljivostih, hkrati pa ohranja fine strukture, ki bi se lahko izkazale za pomembne pri naslednjem odkritju.
Znanstveni instrumenti ustvarjajo več podatkov, kot jih lahko infrastruktura sprejme
Motivacija za novo metodo izhaja iz zelo praktičnega problema sodobne eksperimentalne znanosti. Ločljivost senzorjev in hitrosti meritev naraščajo tako hitro, da instrumenti naslednje generacije začenjajo ustvarjati podatkovne tokove, ki jih je vse dražje v celoti shranjevati, prenašati in pozneje obdelovati.
Običajno stiskanje z izgubami lahko zmanjša velikost datotek, vendar lahko odstrani tudi signale z nizko amplitudo ali fine strukture. Pri navadni fotografiji taka izguba morda ni pomembna. Pri znanstveni meritvi pa lahko drobna podrobnost vsebuje prav tisto fizikalno informacijo, ki jo raziskovalci iščejo.
SLAC kot primer navaja majhne pikice, ki se pojavijo pri rentgenskih meritvah. Te strukture lahko razkrivajo notranjo urejenost, napake ali dinamiko znotraj materiala. Če jih algoritem za stiskanje obravnava kot šum, lahko zmanjša ne le velikost datoteke, temveč tudi znanstveno vrednost meritve.
Valčna analiza ločuje informacije po skali
Metoda, objavljena v reviji Nature Machine Intelligence, se imenuje WIEN-INR. Združuje valčno analizo z implicitnimi nevronskimi predstavitvami.
Najprej valčna analiza loči nabor podatkov na komponente pri različnih prostorskih skalah ter razlikuje med strukturami velikega obsega in finimi podrobnostmi. Nevronska mreža se nato nauči kompaktno predstavljati informacije na teh različnih skalah.
Ta arhitektura pomaga preprečiti pogost problem splošnonamenskega stiskanja, pri katerem se lahko široka struktura ozadja in majhna, vendar znanstveno pomembna značilnost obravnavata skoraj enako.
Po besedah raziskovalca SLAC-a Yuana Nija je metoda velikost datotek običajno zmanjšala za faktorje od 10 do 100, odvisno od izvornih podatkov in želene kakovosti. Tega rezultata pa ne bi smeli razlagati kot povsem brezizgubno stiskanje. Gre za nadzorovan kompromis med količino podatkov in zvestobo signala, zasnovan tako, da fine značilnosti, pomembne za analizo, ohrani bolje kot generični pristop stiskanja.
To je natančnejši opis, kot če bi rekli, da sistem »sploh ne izgubi nobenih podatkov«.
Sistem lahko dekodira le območje, ki ga potrebujete
Druga velika prednost metode se pokaže, ko se podatki uporabijo pozneje. Če raziskovalec iz velikega stisnjenega nabora podatkov potrebuje le majhno območje, ni treba rekonstruirati celotne datoteke.
WIEN-INR lahko dekodira le izbrano območje interesa ter to naredi pri različnih skalah in ločljivostih. SLAC navaja, da lahko dekompresija celotne velike datoteke z običajnim kodekom traja minute, ure ali celo dneve. Selektivno dekodiranje se izogne velikemu delu tega opravila.
V velikih okoljih znanstvenega računalništva je lahko ta zmogljivost prav tako pomembna kot samo razmerje stiskanja. Težava ni zgolj strošek shranjevanja. Premikanje podatkov med sistemi za shranjevanje, računskimi vozlišči in raziskovalnimi ustanovami porablja omrežno zmogljivost, energijo in čas.
Metoda je delovala pri zelo različnih vrstah podatkov
Raziskovalci svojih preizkusov niso omejili na eno samo vrsto rentgenskega nabora podatkov. Metodo so uporabili pri molekularnih meritvah in meritvah materialov, podatkih o Sončevem magnetnem polju ter navadnih fotografijah. Nevronska mreža se je lahko prilagodila različnim vrstam podatkov in se naučila značilnosti, ki so bile pomembne za vsako od njih.
Avtorji WIEN-INR ne predstavljajo kot univerzalne zamenjave za obstoječe metode stiskanja ali zmanjševanja podatkov. Namesto tega lahko deluje skupaj z njimi kot dodatna možnost v primerih, kjer je poznejše pridobivanje struktur fine skale še posebej pomembno.
K študiji so prispevali tudi raziskovalci z Univerze Kalifornije v Davisu in Univerze Carnegie Mellon. Ekipa je svoje nevronske mreže učila z uporabo superračunalnika Perlmutter v objektu NERSC ameriškega ministrstva za energijo. Članek »Multi-resolution enhancement for full-spectrum neural representations« je bil objavljen v reviji Nature Machine Intelligence 24. avgusta 2026.
Tudi evropska raziskovalna infrastruktura se spopada z enakim izzivom
Potencial metode sega daleč prek katerega koli posameznega instrumenta v SLAC-u. Evropska infrastruktura za fiziko delcev, sinhrotronsko znanost, astronomijo, podnebne raziskave in satelitsko opazovanje prav tako ustvarja hitro naraščajoče količine podatkov.
Pri tem je pomembnejše načelo kot kateri koli posamezen algoritem. Ko instrument ustvari več informacij, kot jih je praktično v celoti shraniti in prenašati, se mora podatkovni tok vse bolj zgodaj odločati, katere informacije ohraniti in pri kateri ravni zvestobe.
Vloga umetne inteligence v znanosti zato ni več omejena na iskanje vzorcev po izvedenem poskusu. Naslednji pomemben korak bi lahko bilo predstavljanje znanstvenih podatkov v obliki, ki dramatično zmanjša zahteve po shranjevanju in računalniških zmogljivostih, hkrati pa ohranja fine strukture, ki bi se lahko izkazale za pomembne pri naslednjem odkritju.
