Uus AI-meetod surub teadusandmed kuni sada korda väiksemaks

SLAC National Accelerator Laboratory teadlased töötasid välja närvivõrgul põhineva pakkimismeetodi, mis vähendas katsetes teadusandmete mahtu sõltuvalt sisendist ja soovitud täpsusest tavaliselt 10-100 korda. Lahenduse põhiidee pole kõiki andmeid võrdselt kokku suruda, vaid säilitada eri mõõtkavades struktuurid, mis võivad teadusliku analüüsi jaoks osutuda määravaks. Uurimus ilmus ajakirjas Nature Machine Intelligence.

Teadusinstrumendid toodavad rohkem andmeid, kui taristu suudab neelata

Uue meetodi ajend tuleb kaasaegse eksperimentaalteaduse väga praktilisest probleemist. Sensorite lahutusvõime ja mõõtesagedus kasvavad nii kiiresti, et järgmise põlvkonna instrumendid hakkavad tootma andmevooge, mille täielik salvestamine, liigutamine ja hilisem töötlemine muutub järjest kulukamaks.

Tavaline kadudega pakkimine vähendab küll failimahtu, kuid võib eemaldada väikese amplituudiga või peeneid struktuure. Tavalisel fotol ei pruugi selline kadu olla probleem. Teadusmõõtmises võib väike detail sisaldada aga otsitavat füüsikalist informatsiooni.

SLAC toob näiteks röntgenmõõtmistes tekkivad väikesed täpid ehk speckle-struktuurid. Need võivad kirjeldada materjali sisemist korrastatust, häireid või dünaamikat. Kui pakkimisalgoritm käsitleb neid mürana, võib ta koos failimahuga vähendada ka mõõtmise teaduslikku väärtust.

Lainekeanalüüs jagab info mõõtkavade järgi

Nature Machine Intelligence’is avaldatud meetod kannab nime WIEN-INR. Teadlased ühendavad selles lainekeanalüüsi ja implitsiitsed närviesitused.

Kõigepealt jagab lainekeanalüüs andmestiku eri ruumilise mõõtkavaga komponentideks. Suured üldstruktuurid eralduvad peentest detailidest. Seejärel õpib närvivõrk eri mõõtkavade infot kompaktselt esitama.

Selline arhitektuur võimaldab vältida olukorda, kus üks üldine pakkimisprotsess kohtleb suurt taustastruktuuri ja väikest teaduslikult väärtuslikku detaili täpselt ühtemoodi.

SLAC-i teadlase Yuan Ni sõnul vähendas meetod failimahtu sõltuvalt algandmetest ning soovitud kvaliteedist tavaliselt 10-100 korda. Seda tulemust ei tohiks siiski tõlgendada täiesti kadudeta pakkimisena. Tegemist on kontrollitava kompromissiga mahu ja signaalitäpsuse vahel, mille eesmärk on säilitada analüüsiks olulised peened tunnused paremini kui tavapärase üldise pakkimise korral.

See on täpsem kirjeldus kui väide, et süsteem „ei kaota üldse andmeid”.

Süsteem oskab avada ainult vajaliku piirkonna

Meetodi teine tugevus avaldub andmete hilisemal kasutamisel. Kui teadlane vajab suurest pakitud andmestikust vaid väikest piirkonda, ei pea ta kogu faili täielikult taastama.

WIEN-INR võimaldab dekodeerida ainult valitud huvipakkuva ala ning teha seda erineva mõõtkava ja lahutusvõimega. SLAC märgib, et tavapärase kompressori puhul võib terve suure faili lahtipakkimine kesta minuteid, tunde või isegi päevi. Valikulise dekodeerimise korral jääb suur osa sellest tööst tegemata.

Suurtes teadussüsteemides võib see omadus olla sama tähtis kui pakkimissuhe. Probleem pole ainult kettaruumi hinnas. Andmete liigutamine salvestite, arvutussõlmede ja uurimisasutuste vahel tarvitab võrguressurssi, energiat ja aega.

Meetod töötas väga erinevate andmetega

Teadlased ei piirdunud ühe tüüpi röntgenandmetega. Nad katsetasid lahendust molekulide ja materjalide mõõtmistel, Päikese magnetvälja andmetel ning tavalistel fotodel. Närvivõrk suutis eri andmetüüpidega kohaneda ja õppida nende jaoks olulisi tunnuseid.

Uuringu autorid ei paku WIEN-INR-i olemasolevate pakkimis- või andmevähendusmeetodite universaalseks asendajaks. Süsteem võib töötada nende kõrval, pakkudes lisavõimalust olukordades, kus peente struktuuride hilisem taastamine on kriitilise tähtsusega.

Uuringus osalesid SLAC-i kõrval California Ülikooli Davise haru ja Carnegie Mellon University teadlased. Närvivõrkude treenimiseks kasutas meeskond USA energeetikaministeeriumi NERSC keskuse Perlmutteri superarvutit. Teadusartikkel „Multi-resolution enhancement for full-spectrum neural representations” ilmus Nature Machine Intelligence’is 24. augustil 2026.

Euroopa teadustaristu seisab sama probleemi ees

Meetodi potentsiaal ulatub konkreetsest SLAC-i instrumendist palju kaugemale. Euroopa osakestefüüsika, sünkrotronkiirguse, astronoomia, kliimateaduse ja satelliitseire taristu toodab samuti kiiresti kasvavaid andmemahte.

Siin muutub oluliseks põhimõte, mitte tingimata üks konkreetne algoritm. Kui instrument toodab rohkem infot, kui on mõistlik täielikult säilitada ja liigutada, peab andmetöötlus otsustama järjest varem, millist informatsiooni hoida ning millise täpsusega.

Tehisintellekti roll teaduses ei piirdu seega enam mustrite leidmisega pärast eksperimenti. Järgmine oluline samm võib olla andmete esitamine kujul, mis vähendab drastiliselt salvestus- ja arvutuskoormust, jättes samal ajal alles just need peened struktuurid, mida võib järgmise avastuse tegemiseks vaja minna.