Nova metoda umjetne inteligencije smanjuje znanstvene skupove podataka i do 100 puta
Istraživači iz Nacionalnog akceleratorskog laboratorija SLAC razvili su metodu kompresije temeljenu na neuronskim mrežama koja je u testovima smanjila količine znanstvenih podataka 10 do 100 puta, ovisno o ulaznim podacima i potrebnoj razini točnosti. Ključna ideja nije jednako komprimirati svaki dio podataka, nego sačuvati strukture na različitim prostornim skalama koje bi se mogle pokazati ključnima za znanstvenu analizu. Studija je objavljena u časopisu Nature Machine Intelligence.
Znanstveni instrumenti proizvode više podataka nego što infrastruktura može prihvatiti
Motivacija za novu metodu proizlazi iz vrlo praktičnog problema u modernoj eksperimentalnoj znanosti. Razlučivost senzora i brzine mjerenja povećavaju se toliko brzo da instrumenti sljedeće generacije počinju stvarati tokove podataka koje je sve skuplje pohranjivati u cijelosti, prenositi i naknadno obrađivati.
Konvencionalna kompresija s gubitkom može smanjiti veličinu datoteka, ali može ukloniti i signale niske amplitude ili fine strukture. Na običnoj fotografiji taj gubitak možda nije važan. U znanstvenom mjerenju, međutim, sitan detalj može sadržavati upravo fizičku informaciju koju istraživači traže.
SLAC kao jedan primjer navodi male točkice koje se pojavljuju u rendgenskim mjerenjima. Te strukture mogu otkriti unutarnji poredak, nedostatke ili dinamiku unutar materijala. Ako ih algoritam kompresije tretira kao šum, može smanjiti ne samo veličinu datoteke nego i znanstvenu vrijednost mjerenja.
Analiza valićima razdvaja informacije prema skali
Metoda objavljena u časopisu Nature Machine Intelligence naziva se WIEN-INR. Kombinira analizu valićima s implicitnim neuronskim reprezentacijama.
Najprije analiza valićima razdvaja skup podataka na komponente na različitim prostornim skalama, razlikujući strukture velikih razmjera od finih detalja. Neuronska mreža zatim uči kompaktno predstavljati informacije na tim različitim skalama.
Ta arhitektura pomaže izbjeći čest problem općenamjenske kompresije, pri kojoj se široka pozadinska struktura i maleno, ali znanstveno važno obilježje mogu tretirati gotovo jednako.
Prema istraživaču SLAC-a Yuanu Niju, metoda je obično smanjivala veličine datoteka 10 do 100 puta, ovisno o izvornim podacima i željenoj kvaliteti. Taj se rezultat ipak ne bi trebao tumačiti kao potpuno kompresija bez gubitaka. Riječ je o kontroliranom kompromisu između količine podataka i vjernosti signala, osmišljenom da fine značajke važne za analizu sačuva bolje od generičkog pristupa kompresiji.
To je točniji opis nego reći da sustav „uopće ne gubi nikakve podatke”.
Sustav može dekodirati samo regiju koja vam je potrebna
Druga velika prednost metode dolazi do izražaja pri kasnijoj uporabi podataka. Ako istraživač treba samo malo područje iz velikog komprimiranog skupa podataka, nema potrebe rekonstruirati cijelu datoteku.
WIEN-INR može dekodirati samo odabrano područje interesa te to učiniti na različitim skalama i razlučivostima. SLAC napominje da dekompresija potpune velike datoteke konvencionalnim kodekom može trajati minute, sate ili čak dane. Selektivno dekodiranje izbjegava velik dio tog posla.
U velikim okruženjima za znanstveno računalstvo ta sposobnost može biti jednako važna kao i sam omjer kompresije. Problem nije samo trošak pohrane. Premještanje podataka između sustava za pohranu, računalnih čvorova i istraživačkih institucija troši mrežni kapacitet, energiju i vrijeme.
Metoda je funkcionirala na vrlo različitim vrstama podataka
Istraživači nisu ograničili testove na jednu vrstu rendgenskog skupa podataka. Metodu su primijenili na molekularna mjerenja i mjerenja materijala, podatke o Sunčevu magnetskom polju te obične fotografije. Neuronska mreža mogla se prilagoditi različitim vrstama podataka i naučiti značajke važne za svaku od njih.
Autori ne predstavljaju WIEN-INR kao univerzalnu zamjenu za postojeće metode kompresije ili smanjenja podataka. Umjesto toga, može raditi uz njih kao dodatna opcija u slučajevima u kojima je naknadno oporavljanje strukture fine skale posebno važno.
Istraživači sa Sveučilišta Kalifornije u Davisu i Sveučilišta Carnegie Mellon također su pridonijeli studiji. Tim je svoje neuronske mreže trenirao upotrebom superračunala Perlmutter u postrojenju NERSC američkog Ministarstva energetike. Rad pod naslovom „Multi-resolution enhancement for full-spectrum neural representations” objavljen je u časopisu Nature Machine Intelligence 24. kolovoza 2026.
Europska istraživačka infrastruktura suočava se s istim izazovom
Potencijal metode proteže se daleko izvan bilo kojeg pojedinačnog instrumenta u SLAC-u. Europska infrastruktura za fiziku čestica, sinkrotronsku znanost, astronomiju, klimatska istraživanja i satelitsko promatranje također stvara brzo rastuće količine podataka.
Ovdje je važan princip, a ne bilo koji pojedinačni algoritam. Kada instrument proizvodi više informacija nego što je praktično pohraniti i premještati u cijelosti, podatkovni proces mora sve ranije odlučivati koje informacije sačuvati i na kojoj razini vjernosti.
Uloga umjetne inteligencije u znanosti stoga više nije ograničena na pronalaženje obrazaca nakon provedenog eksperimenta. Sljedeći važan korak mogao bi biti predstavljanje znanstvenih podataka u obliku koji dramatično smanjuje zahtjeve za pohranom i računalnom obradom, uz očuvanje finih struktura koje bi se mogle pokazati važnima za sljedeće otkriće.
Znanstveni instrumenti proizvode više podataka nego što infrastruktura može prihvatiti
Motivacija za novu metodu proizlazi iz vrlo praktičnog problema u modernoj eksperimentalnoj znanosti. Razlučivost senzora i brzine mjerenja povećavaju se toliko brzo da instrumenti sljedeće generacije počinju stvarati tokove podataka koje je sve skuplje pohranjivati u cijelosti, prenositi i naknadno obrađivati.
Konvencionalna kompresija s gubitkom može smanjiti veličinu datoteka, ali može ukloniti i signale niske amplitude ili fine strukture. Na običnoj fotografiji taj gubitak možda nije važan. U znanstvenom mjerenju, međutim, sitan detalj može sadržavati upravo fizičku informaciju koju istraživači traže.
SLAC kao jedan primjer navodi male točkice koje se pojavljuju u rendgenskim mjerenjima. Te strukture mogu otkriti unutarnji poredak, nedostatke ili dinamiku unutar materijala. Ako ih algoritam kompresije tretira kao šum, može smanjiti ne samo veličinu datoteke nego i znanstvenu vrijednost mjerenja.
Analiza valićima razdvaja informacije prema skali
Metoda objavljena u časopisu Nature Machine Intelligence naziva se WIEN-INR. Kombinira analizu valićima s implicitnim neuronskim reprezentacijama.
Najprije analiza valićima razdvaja skup podataka na komponente na različitim prostornim skalama, razlikujući strukture velikih razmjera od finih detalja. Neuronska mreža zatim uči kompaktno predstavljati informacije na tim različitim skalama.
Ta arhitektura pomaže izbjeći čest problem općenamjenske kompresije, pri kojoj se široka pozadinska struktura i maleno, ali znanstveno važno obilježje mogu tretirati gotovo jednako.
Prema istraživaču SLAC-a Yuanu Niju, metoda je obično smanjivala veličine datoteka 10 do 100 puta, ovisno o izvornim podacima i željenoj kvaliteti. Taj se rezultat ipak ne bi trebao tumačiti kao potpuno kompresija bez gubitaka. Riječ je o kontroliranom kompromisu između količine podataka i vjernosti signala, osmišljenom da fine značajke važne za analizu sačuva bolje od generičkog pristupa kompresiji.
To je točniji opis nego reći da sustav „uopće ne gubi nikakve podatke”.
Sustav može dekodirati samo regiju koja vam je potrebna
Druga velika prednost metode dolazi do izražaja pri kasnijoj uporabi podataka. Ako istraživač treba samo malo područje iz velikog komprimiranog skupa podataka, nema potrebe rekonstruirati cijelu datoteku.
WIEN-INR može dekodirati samo odabrano područje interesa te to učiniti na različitim skalama i razlučivostima. SLAC napominje da dekompresija potpune velike datoteke konvencionalnim kodekom može trajati minute, sate ili čak dane. Selektivno dekodiranje izbjegava velik dio tog posla.
U velikim okruženjima za znanstveno računalstvo ta sposobnost može biti jednako važna kao i sam omjer kompresije. Problem nije samo trošak pohrane. Premještanje podataka između sustava za pohranu, računalnih čvorova i istraživačkih institucija troši mrežni kapacitet, energiju i vrijeme.
Metoda je funkcionirala na vrlo različitim vrstama podataka
Istraživači nisu ograničili testove na jednu vrstu rendgenskog skupa podataka. Metodu su primijenili na molekularna mjerenja i mjerenja materijala, podatke o Sunčevu magnetskom polju te obične fotografije. Neuronska mreža mogla se prilagoditi različitim vrstama podataka i naučiti značajke važne za svaku od njih.
Autori ne predstavljaju WIEN-INR kao univerzalnu zamjenu za postojeće metode kompresije ili smanjenja podataka. Umjesto toga, može raditi uz njih kao dodatna opcija u slučajevima u kojima je naknadno oporavljanje strukture fine skale posebno važno.
Istraživači sa Sveučilišta Kalifornije u Davisu i Sveučilišta Carnegie Mellon također su pridonijeli studiji. Tim je svoje neuronske mreže trenirao upotrebom superračunala Perlmutter u postrojenju NERSC američkog Ministarstva energetike. Rad pod naslovom „Multi-resolution enhancement for full-spectrum neural representations” objavljen je u časopisu Nature Machine Intelligence 24. kolovoza 2026.
Europska istraživačka infrastruktura suočava se s istim izazovom
Potencijal metode proteže se daleko izvan bilo kojeg pojedinačnog instrumenta u SLAC-u. Europska infrastruktura za fiziku čestica, sinkrotronsku znanost, astronomiju, klimatska istraživanja i satelitsko promatranje također stvara brzo rastuće količine podataka.
Ovdje je važan princip, a ne bilo koji pojedinačni algoritam. Kada instrument proizvodi više informacija nego što je praktično pohraniti i premještati u cijelosti, podatkovni proces mora sve ranije odlučivati koje informacije sačuvati i na kojoj razini vjernosti.
Uloga umjetne inteligencije u znanosti stoga više nije ograničena na pronalaženje obrazaca nakon provedenog eksperimenta. Sljedeći važan korak mogao bi biti predstavljanje znanstvenih podataka u obliku koji dramatično smanjuje zahtjeve za pohranom i računalnom obradom, uz očuvanje finih struktura koje bi se mogle pokazati važnima za sljedeće otkriće.
