Naujas DI metodas mokslinių duomenų rinkinius sumažina iki 100 kartų
SLAC nacionalinės greitintuvų laboratorijos tyrėjai sukūrė neuroniniais tinklais pagrįstą glaudinimo metodą, kuris bandymuose mokslinių duomenų apimtį sumažino 10–100 kartų, priklausomai nuo įvesties duomenų ir reikalaujamo tikslumo lygio. Pagrindinė idėja – ne vienodai glaudinti kiekvieną duomenų dalį, o išsaugoti skirtingų erdvinių mastelių struktūras, kurios gali būti itin svarbios mokslinei analizei. Tyrimas paskelbtas žurnale Nature Machine Intelligence.
Moksliniai prietaisai sukuria daugiau duomenų, nei infrastruktūra gali priimti
Naujojo metodo motyvacija kyla iš labai praktinės šiuolaikinio eksperimentinio mokslo problemos. Jutiklių raiška ir matavimų sparta didėja taip greitai, kad naujos kartos prietaisai pradeda generuoti duomenų srautus, kuriuos vis brangiau saugoti visos apimties, perduoti ir vėliau apdoroti.
Įprastas glaudinimas su nuostoliais gali sumažinti failų dydį, tačiau taip pat gali pašalinti mažos amplitudės signalus ar smulkias struktūras. Paprastoje nuotraukoje toks praradimas gali būti nesvarbus. Tačiau moksliniame matavime menkutė detalė gali turėti būtent tą fizikinę informaciją, kurios tyrėjai ieško.
SLAC kaip vieną pavyzdį nurodo mažus taškelius, pasirodančius rentgeno spindulių matavimuose. Šios struktūros gali atskleisti medžiagos vidinę tvarką, defektus ar dinamiką. Jei glaudinimo algoritmas jas traktuoja kaip triukšmą, jis gali sumažinti ne tik failo dydį, bet ir mokslinę matavimo vertę.
Bangelių analizė atskiria informaciją pagal mastelį
Nature Machine Intelligence paskelbtas metodas vadinamas WIEN-INR. Jis sujungia bangelių analizę su implicitinėmis neuroninėmis reprezentacijomis.
Pirmiausia bangelių analizė suskaido duomenų rinkinį į skirtingų erdvinių mastelių komponentus, atskirdama didelio mastelio struktūras nuo smulkių detalių. Tada neuroninis tinklas išmoksta kompaktiškai reprezentuoti informaciją šiuose skirtinguose masteliuose.
Tokia architektūra padeda išvengti dažnos bendrosios paskirties glaudinimo problemos, kai plati fono struktūra ir mažytis, tačiau moksliškai svarbus požymis gali būti vertinami iš esmės vienodai.
Pasak SLAC tyrėjo Yuan Ni, metodas paprastai sumažino failų dydį 10–100 kartų, priklausomai nuo pradinių duomenų ir pageidaujamos kokybės. Vis dėlto šio rezultato nereikėtų interpretuoti kaip visiškai be nuostolių vykstančio glaudinimo. Tai kontroliuojamas kompromisas tarp duomenų apimties ir signalo tikslumo, sukurtas taip, kad analizės požiūriu svarbias smulkias ypatybes išsaugotų geriau nei bendrinis glaudinimo metodas.
Tai tikslesnis apibūdinimas nei teiginys, kad sistema „visiškai nepraranda jokių duomenų“.
Sistema gali iškoduoti tik jums reikalingą sritį
Antrasis svarbus metodo pranašumas išryškėja, kai duomenys naudojami vėliau. Jei tyrėjui iš didelio suglaudinto duomenų rinkinio reikia tik mažos srities, nėra būtinybės atkurti viso failo.
WIEN-INR gali iškoduoti tik pasirinktą dominančią sritį ir tai atlikti skirtingais masteliais bei raiškomis. SLAC pažymi, kad viso didelio failo išglaudinimas įprastu kodeku gali užtrukti minutes, valandas ar net dienas. Atrankinis iškodavimas padeda išvengti didelės dalies šio darbo.
Didelėse mokslinio skaičiavimo aplinkose ši galimybė gali būti tokia pat svarbi kaip ir pats glaudinimo santykis. Problema nėra vien saugojimo kaina. Duomenų perkėlimas tarp saugojimo sistemų, skaičiavimo mazgų ir mokslinių institucijų naudoja tinklo pajėgumus, energiją ir laiką.
Metodas veikė su labai skirtingų tipų duomenimis
Tyrėjai neapsiribojo bandymais su vieno tipo rentgeno spindulių duomenų rinkiniu. Jie metodą pritaikė molekuliniams ir medžiagų matavimams, Saulės magnetinio lauko duomenims bei įprastoms nuotraukoms. Neuroninis tinklas gebėjo prisitaikyti prie skirtingų duomenų tipų ir išmokti kiekvienam jų svarbius požymius.
Autoriai nepateikia WIEN-INR kaip universalaus esamų glaudinimo ar duomenų mažinimo metodų pakaitalo. Vietoj to jis gali veikti kartu su jais kaip papildoma galimybė tais atvejais, kai vėliau ypač svarbu atkurti smulkaus mastelio struktūrą.
Prie tyrimo taip pat prisidėjo Kalifornijos universiteto Deivise ir Carnegie Mellon universiteto tyrėjai. Komanda savo neuroninius tinklus mokė naudodama JAV Energetikos departamento NERSC centro superkompiuterį Perlmutter. Straipsnis „Multi-resolution enhancement for full-spectrum neural representations“ buvo paskelbtas Nature Machine Intelligence 2026 m. rugpjūčio 24 d.
Europos mokslinių tyrimų infrastruktūra susiduria su tuo pačiu iššūkiu
Metodo potencialas gerokai peržengia bet kurio vieno SLAC prietaiso ribas. Europos dalelių fizikos, sinchrotronų mokslo, astronomijos, klimato tyrimų ir palydovinių stebėjimų infrastruktūra taip pat generuoja sparčiai augančius duomenų kiekius.
Svarbus čia yra principas, o ne vienas konkretus algoritmas. Kai prietaisas sukuria daugiau informacijos, nei praktiška saugoti ir perkelti visos apimties, duomenų apdorojimo grandinė turi vis anksčiau nuspręsti, kokią informaciją išsaugoti ir kokiu tikslumo lygiu.
Todėl DI vaidmuo moksle nebėra ribojamas vien modelių paieška po to, kai eksperimentas jau įvyko. Kitas svarbus žingsnis gali būti mokslinių duomenų pateikimas tokia forma, kuri smarkiai sumažintų saugojimo ir skaičiavimo poreikius, kartu išsaugant smulkias struktūras, kurios gali būti svarbios kitam atradimui.
Moksliniai prietaisai sukuria daugiau duomenų, nei infrastruktūra gali priimti
Naujojo metodo motyvacija kyla iš labai praktinės šiuolaikinio eksperimentinio mokslo problemos. Jutiklių raiška ir matavimų sparta didėja taip greitai, kad naujos kartos prietaisai pradeda generuoti duomenų srautus, kuriuos vis brangiau saugoti visos apimties, perduoti ir vėliau apdoroti.
Įprastas glaudinimas su nuostoliais gali sumažinti failų dydį, tačiau taip pat gali pašalinti mažos amplitudės signalus ar smulkias struktūras. Paprastoje nuotraukoje toks praradimas gali būti nesvarbus. Tačiau moksliniame matavime menkutė detalė gali turėti būtent tą fizikinę informaciją, kurios tyrėjai ieško.
SLAC kaip vieną pavyzdį nurodo mažus taškelius, pasirodančius rentgeno spindulių matavimuose. Šios struktūros gali atskleisti medžiagos vidinę tvarką, defektus ar dinamiką. Jei glaudinimo algoritmas jas traktuoja kaip triukšmą, jis gali sumažinti ne tik failo dydį, bet ir mokslinę matavimo vertę.
Bangelių analizė atskiria informaciją pagal mastelį
Nature Machine Intelligence paskelbtas metodas vadinamas WIEN-INR. Jis sujungia bangelių analizę su implicitinėmis neuroninėmis reprezentacijomis.
Pirmiausia bangelių analizė suskaido duomenų rinkinį į skirtingų erdvinių mastelių komponentus, atskirdama didelio mastelio struktūras nuo smulkių detalių. Tada neuroninis tinklas išmoksta kompaktiškai reprezentuoti informaciją šiuose skirtinguose masteliuose.
Tokia architektūra padeda išvengti dažnos bendrosios paskirties glaudinimo problemos, kai plati fono struktūra ir mažytis, tačiau moksliškai svarbus požymis gali būti vertinami iš esmės vienodai.
Pasak SLAC tyrėjo Yuan Ni, metodas paprastai sumažino failų dydį 10–100 kartų, priklausomai nuo pradinių duomenų ir pageidaujamos kokybės. Vis dėlto šio rezultato nereikėtų interpretuoti kaip visiškai be nuostolių vykstančio glaudinimo. Tai kontroliuojamas kompromisas tarp duomenų apimties ir signalo tikslumo, sukurtas taip, kad analizės požiūriu svarbias smulkias ypatybes išsaugotų geriau nei bendrinis glaudinimo metodas.
Tai tikslesnis apibūdinimas nei teiginys, kad sistema „visiškai nepraranda jokių duomenų“.
Sistema gali iškoduoti tik jums reikalingą sritį
Antrasis svarbus metodo pranašumas išryškėja, kai duomenys naudojami vėliau. Jei tyrėjui iš didelio suglaudinto duomenų rinkinio reikia tik mažos srities, nėra būtinybės atkurti viso failo.
WIEN-INR gali iškoduoti tik pasirinktą dominančią sritį ir tai atlikti skirtingais masteliais bei raiškomis. SLAC pažymi, kad viso didelio failo išglaudinimas įprastu kodeku gali užtrukti minutes, valandas ar net dienas. Atrankinis iškodavimas padeda išvengti didelės dalies šio darbo.
Didelėse mokslinio skaičiavimo aplinkose ši galimybė gali būti tokia pat svarbi kaip ir pats glaudinimo santykis. Problema nėra vien saugojimo kaina. Duomenų perkėlimas tarp saugojimo sistemų, skaičiavimo mazgų ir mokslinių institucijų naudoja tinklo pajėgumus, energiją ir laiką.
Metodas veikė su labai skirtingų tipų duomenimis
Tyrėjai neapsiribojo bandymais su vieno tipo rentgeno spindulių duomenų rinkiniu. Jie metodą pritaikė molekuliniams ir medžiagų matavimams, Saulės magnetinio lauko duomenims bei įprastoms nuotraukoms. Neuroninis tinklas gebėjo prisitaikyti prie skirtingų duomenų tipų ir išmokti kiekvienam jų svarbius požymius.
Autoriai nepateikia WIEN-INR kaip universalaus esamų glaudinimo ar duomenų mažinimo metodų pakaitalo. Vietoj to jis gali veikti kartu su jais kaip papildoma galimybė tais atvejais, kai vėliau ypač svarbu atkurti smulkaus mastelio struktūrą.
Prie tyrimo taip pat prisidėjo Kalifornijos universiteto Deivise ir Carnegie Mellon universiteto tyrėjai. Komanda savo neuroninius tinklus mokė naudodama JAV Energetikos departamento NERSC centro superkompiuterį Perlmutter. Straipsnis „Multi-resolution enhancement for full-spectrum neural representations“ buvo paskelbtas Nature Machine Intelligence 2026 m. rugpjūčio 24 d.
Europos mokslinių tyrimų infrastruktūra susiduria su tuo pačiu iššūkiu
Metodo potencialas gerokai peržengia bet kurio vieno SLAC prietaiso ribas. Europos dalelių fizikos, sinchrotronų mokslo, astronomijos, klimato tyrimų ir palydovinių stebėjimų infrastruktūra taip pat generuoja sparčiai augančius duomenų kiekius.
Svarbus čia yra principas, o ne vienas konkretus algoritmas. Kai prietaisas sukuria daugiau informacijos, nei praktiška saugoti ir perkelti visos apimties, duomenų apdorojimo grandinė turi vis anksčiau nuspręsti, kokią informaciją išsaugoti ir kokiu tikslumo lygiu.
Todėl DI vaidmuo moksle nebėra ribojamas vien modelių paieška po to, kai eksperimentas jau įvyko. Kitas svarbus žingsnis gali būti mokslinių duomenų pateikimas tokia forma, kuri smarkiai sumažintų saugojimo ir skaičiavimo poreikius, kartu išsaugant smulkias struktūras, kurios gali būti svarbios kitam atradimui.
