Jauna MI metode samazina zinātnisko datu kopas līdz pat 100 reizēm
Pētnieki SLAC Nacionālajā paātrinātāju laboratorijā ir izstrādājuši uz neironu tīkliem balstītu saspiešanas metodi, kas testos samazināja zinātnisko datu apjomu 10 līdz 100 reizes atkarībā no ievaddatiem un nepieciešamā precizitātes līmeņa. Galvenā ideja nav vienādi saspiest visas datu daļas, bet gan saglabāt struktūras dažādos telpiskajos mērogos, kas var izrādīties kritiski svarīgas zinātniskajai analīzei. Pētījums publicēts žurnālā Nature Machine Intelligence.
Zinātniskie instrumenti rada vairāk datu, nekā infrastruktūra spēj uzņemt
Jaunās metodes motivācija izriet no ļoti praktiskas problēmas mūsdienu eksperimentālajā zinātnē. Sensoru izšķirtspēja un mērījumu ātrums pieaug tik strauji, ka nākamās paaudzes instrumenti sāk radīt datu plūsmas, kuru pilnīga glabāšana, pārsūtīšana un vēlākā apstrāde kļūst arvien dārgāka.
Tradicionālā zudumradošā saspiešana var samazināt failu izmērus, taču tā var arī noņemt zemas amplitūdas signālus vai smalkas struktūras. Parastā fotogrāfijā šādam zudumam var nebūt nozīmes. Taču zinātniskā mērījumā niecīga detaļa var ietvert tieši to fizikālo informāciju, ko pētnieki meklē.
SLAC kā piemēru min sīkos plankumus, kas parādās rentgenstaru mērījumos. Šīs struktūras var atklāt materiāla iekšējo sakārtotību, defektus vai dinamiku. Ja saspiešanas algoritms tos uzskata par troksni, tas var samazināt ne tikai faila izmēru, bet arī mērījuma zinātnisko vērtību.
Viļņu analīze nodala informāciju pēc mēroga
Nature Machine Intelligence publicētā metode tiek saukta par WIEN-INR. Tā apvieno viļņu analīzi ar netiešiem neironu attēlojumiem.
Vispirms viļņu analīze sadala datu kopu komponentēs dažādos telpiskajos mērogos, nošķirot liela mēroga struktūras no smalkām detaļām. Pēc tam neironu tīkls iemācās kompakti attēlot informāciju šajos dažādajos mērogos.
Šī arhitektūra palīdz izvairīties no bieži sastopamas vispārējas nozīmes saspiešanas problēmas, kur plaša fona struktūra un niecīga, bet zinātniski svarīga pazīme var tikt apstrādātas gandrīz vienādi.
Pēc SLAC pētnieka Yuan Ni teiktā, metode parasti samazināja failu izmērus 10 līdz 100 reizes atkarībā no avota datiem un vēlamās kvalitātes. Tomēr šo rezultātu nevajadzētu interpretēt kā pilnīgi bezzudumu saspiešanu. Tā ir kontrolēta kompromisa izvēle starp datu apjomu un signāla precizitāti, kas izstrādāta, lai analīzei svarīgas smalkās pazīmes saglabātu labāk nekā vispārēja saspiešanas pieeja.
Tas ir precīzāks raksturojums nekā apgalvojums, ka sistēma “nezaudē pilnīgi nekādus datus”.
Sistēma var atkodēt tikai nepieciešamo reģionu
Otra būtiska metodes priekšrocība parādās, kad dati tiek izmantoti vēlāk. Ja pētniekam no lielas saspiestas datu kopas nepieciešams tikai neliels reģions, nav jāatjauno viss fails.
WIEN-INR var atkodēt tikai izvēlēto interesējošo reģionu un to darīt dažādos mērogos un izšķirtspējās. SLAC norāda, ka pilnīga liela faila atspiešana ar parastu kodeku var aizņemt minūtes, stundas vai pat dienas. Selektīva atkodēšana ļauj izvairīties no lielas daļas šī darba.
Lielās zinātniskās skaitļošanas vidēs šī iespēja var būt tikpat svarīga kā pats saspiešanas koeficients. Problēma nav tikai glabāšanas izmaksas. Datu pārvietošana starp glabāšanas sistēmām, skaitļošanas mezgliem un pētniecības iestādēm patērē tīkla jaudu, enerģiju un laiku.
Metode darbojās ar ļoti atšķirīgiem datu veidiem
Pētnieki savus testus neierobežoja ar viena veida rentgenstaru datu kopu. Viņi metodi piemēroja molekulu un materiālu mērījumiem, Saules magnētiskā lauka datiem un parastām fotogrāfijām. Neironu tīkls spēja pielāgoties dažādiem datu veidiem un apgūt katram no tiem svarīgās pazīmes.
Autori WIEN-INR nepasniedz kā universālu aizstājēju esošajām saspiešanas vai datu samazināšanas metodēm. Tā drīzāk var darboties līdzās tām kā papildu iespēja gadījumos, kad īpaši svarīga ir smalkā mēroga struktūras vēlākā atjaunošana.
Pētījumā piedalījās arī pētnieki no Kalifornijas Universitātes Deivisā un Kārnegija Melona universitātes. Komanda savus neironu tīklus apmācīja, izmantojot Perlmutter superdatoru ASV Enerģētikas departamenta NERSC centrā. Raksts “Multi-resolution enhancement for full-spectrum neural representations” tika publicēts Nature Machine Intelligence 2026. gada 24. augustā.
Eiropas pētniecības infrastruktūra saskaras ar to pašu izaicinājumu
Metodes potenciāls sniedzas tālu ārpus jebkura viena SLAC instrumenta. Arī Eiropas infrastruktūra daļiņu fizikā, sinhrotronu zinātnē, astronomijā, klimata pētniecībā un satelītu novērošanā rada strauji augošus datu apjomus.
Šeit svarīgs ir princips, nevis kāds viens konkrēts algoritms. Kad instruments rada vairāk informācijas, nekā ir praktiski glabāt un pārvietot pilnā apjomā, datu apstrādes ķēdei arvien agrāk jāizlemj, kādu informāciju saglabāt un kādā precizitātes līmenī.
Tādēļ MI loma zinātnē vairs neaprobežojas tikai ar likumsakarību atrašanu pēc eksperimenta veikšanas. Nākamais svarīgais solis var būt zinātnisko datu attēlošana formā, kas būtiski samazina glabāšanas un skaitļošanas prasības, vienlaikus saglabājot smalkās struktūras, kurām var izrādīties nozīme nākamajā atklājumā.
Zinātniskie instrumenti rada vairāk datu, nekā infrastruktūra spēj uzņemt
Jaunās metodes motivācija izriet no ļoti praktiskas problēmas mūsdienu eksperimentālajā zinātnē. Sensoru izšķirtspēja un mērījumu ātrums pieaug tik strauji, ka nākamās paaudzes instrumenti sāk radīt datu plūsmas, kuru pilnīga glabāšana, pārsūtīšana un vēlākā apstrāde kļūst arvien dārgāka.
Tradicionālā zudumradošā saspiešana var samazināt failu izmērus, taču tā var arī noņemt zemas amplitūdas signālus vai smalkas struktūras. Parastā fotogrāfijā šādam zudumam var nebūt nozīmes. Taču zinātniskā mērījumā niecīga detaļa var ietvert tieši to fizikālo informāciju, ko pētnieki meklē.
SLAC kā piemēru min sīkos plankumus, kas parādās rentgenstaru mērījumos. Šīs struktūras var atklāt materiāla iekšējo sakārtotību, defektus vai dinamiku. Ja saspiešanas algoritms tos uzskata par troksni, tas var samazināt ne tikai faila izmēru, bet arī mērījuma zinātnisko vērtību.
Viļņu analīze nodala informāciju pēc mēroga
Nature Machine Intelligence publicētā metode tiek saukta par WIEN-INR. Tā apvieno viļņu analīzi ar netiešiem neironu attēlojumiem.
Vispirms viļņu analīze sadala datu kopu komponentēs dažādos telpiskajos mērogos, nošķirot liela mēroga struktūras no smalkām detaļām. Pēc tam neironu tīkls iemācās kompakti attēlot informāciju šajos dažādajos mērogos.
Šī arhitektūra palīdz izvairīties no bieži sastopamas vispārējas nozīmes saspiešanas problēmas, kur plaša fona struktūra un niecīga, bet zinātniski svarīga pazīme var tikt apstrādātas gandrīz vienādi.
Pēc SLAC pētnieka Yuan Ni teiktā, metode parasti samazināja failu izmērus 10 līdz 100 reizes atkarībā no avota datiem un vēlamās kvalitātes. Tomēr šo rezultātu nevajadzētu interpretēt kā pilnīgi bezzudumu saspiešanu. Tā ir kontrolēta kompromisa izvēle starp datu apjomu un signāla precizitāti, kas izstrādāta, lai analīzei svarīgas smalkās pazīmes saglabātu labāk nekā vispārēja saspiešanas pieeja.
Tas ir precīzāks raksturojums nekā apgalvojums, ka sistēma “nezaudē pilnīgi nekādus datus”.
Sistēma var atkodēt tikai nepieciešamo reģionu
Otra būtiska metodes priekšrocība parādās, kad dati tiek izmantoti vēlāk. Ja pētniekam no lielas saspiestas datu kopas nepieciešams tikai neliels reģions, nav jāatjauno viss fails.
WIEN-INR var atkodēt tikai izvēlēto interesējošo reģionu un to darīt dažādos mērogos un izšķirtspējās. SLAC norāda, ka pilnīga liela faila atspiešana ar parastu kodeku var aizņemt minūtes, stundas vai pat dienas. Selektīva atkodēšana ļauj izvairīties no lielas daļas šī darba.
Lielās zinātniskās skaitļošanas vidēs šī iespēja var būt tikpat svarīga kā pats saspiešanas koeficients. Problēma nav tikai glabāšanas izmaksas. Datu pārvietošana starp glabāšanas sistēmām, skaitļošanas mezgliem un pētniecības iestādēm patērē tīkla jaudu, enerģiju un laiku.
Metode darbojās ar ļoti atšķirīgiem datu veidiem
Pētnieki savus testus neierobežoja ar viena veida rentgenstaru datu kopu. Viņi metodi piemēroja molekulu un materiālu mērījumiem, Saules magnētiskā lauka datiem un parastām fotogrāfijām. Neironu tīkls spēja pielāgoties dažādiem datu veidiem un apgūt katram no tiem svarīgās pazīmes.
Autori WIEN-INR nepasniedz kā universālu aizstājēju esošajām saspiešanas vai datu samazināšanas metodēm. Tā drīzāk var darboties līdzās tām kā papildu iespēja gadījumos, kad īpaši svarīga ir smalkā mēroga struktūras vēlākā atjaunošana.
Pētījumā piedalījās arī pētnieki no Kalifornijas Universitātes Deivisā un Kārnegija Melona universitātes. Komanda savus neironu tīklus apmācīja, izmantojot Perlmutter superdatoru ASV Enerģētikas departamenta NERSC centrā. Raksts “Multi-resolution enhancement for full-spectrum neural representations” tika publicēts Nature Machine Intelligence 2026. gada 24. augustā.
Eiropas pētniecības infrastruktūra saskaras ar to pašu izaicinājumu
Metodes potenciāls sniedzas tālu ārpus jebkura viena SLAC instrumenta. Arī Eiropas infrastruktūra daļiņu fizikā, sinhrotronu zinātnē, astronomijā, klimata pētniecībā un satelītu novērošanā rada strauji augošus datu apjomus.
Šeit svarīgs ir princips, nevis kāds viens konkrēts algoritms. Kad instruments rada vairāk informācijas, nekā ir praktiski glabāt un pārvietot pilnā apjomā, datu apstrādes ķēdei arvien agrāk jāizlemj, kādu informāciju saglabāt un kādā precizitātes līmenī.
Tādēļ MI loma zinātnē vairs neaprobežojas tikai ar likumsakarību atrašanu pēc eksperimenta veikšanas. Nākamais svarīgais solis var būt zinātnisko datu attēlošana formā, kas būtiski samazina glabāšanas un skaitļošanas prasības, vienlaikus saglabājot smalkās struktūras, kurām var izrādīties nozīme nākamajā atklājumā.
