Ny KI-metode krymper vitenskapelige datasett med opptil 100 ganger
Forskere ved SLAC National Accelerator Laboratory har utviklet en komprimeringsmetode basert på nevrale nettverk som i tester reduserte vitenskapelige datamengder med faktorer fra 10 til 100, avhengig av inndataene og det nødvendige nøyaktighetsnivået. Hovedideen er ikke å komprimere alle deler av dataene likt, men å bevare strukturer på tvers av ulike romlige skalaer som kan vise seg å være avgjørende for vitenskapelig analyse. Studien ble publisert i Nature Machine Intelligence.
Vitenskapelige instrumenter produserer mer data enn infrastrukturen kan ta imot
Motivasjonen bak den nye metoden kommer fra et svært praktisk problem i moderne eksperimentell vitenskap. Sensoroppløsning og målehastigheter øker så raskt at neste generasjons instrumenter begynner å generere datastrømmer som blir stadig dyrere å lagre i sin helhet, overføre og behandle senere.
Konvensjonell tapskomprimering kan redusere filstørrelser, men den kan også fjerne signaler med lav amplitude eller fine strukturer. I et vanlig fotografi trenger ikke dette tapet å bety noe. I en vitenskapelig måling kan imidlertid en liten detalj inneholde nettopp den fysiske informasjonen forskerne leter etter.
SLAC peker på de små flekkene som oppstår i røntgenmålinger som ett eksempel. Disse strukturene kan avsløre intern orden, defekter eller dynamikk i et materiale. Hvis en komprimeringsalgoritme behandler dem som støy, kan den ikke bare redusere filstørrelsen, men også den vitenskapelige verdien av målingen.
Wavelet-analyse skiller informasjon etter skala
Metoden som ble publisert i Nature Machine Intelligence, heter WIEN-INR. Den kombinerer wavelet-analyse med implisitte nevrale representasjoner.
Først deler wavelet-analysen datasettet inn i komponenter på ulike romlige skalaer, og skiller storskala strukturer fra fine detaljer. Et nevralt nettverk lærer deretter å representere informasjonen på disse ulike skalaene kompakt.
Denne arkitekturen bidrar til å unngå et vanlig problem med komprimering for generell bruk, der en bred bakgrunnsstruktur og en liten, men vitenskapelig viktig egenskap kan bli behandlet omtrent på samme måte.
Ifølge SLAC-forskeren Yuan Ni reduserte metoden vanligvis filstørrelsene med faktorer fra 10 til 100, avhengig av kildedataene og ønsket kvalitet. Resultatet bør imidlertid ikke tolkes som fullstendig tapsfri komprimering. Det er et kontrollert kompromiss mellom datavolum og signalintegritet, utformet for å bevare fine egenskaper som er viktige for analysen bedre enn en generell komprimeringsmetode.
Det er en mer presis beskrivelse enn å si at systemet «ikke mister noen data i det hele tatt».
Systemet kan dekode bare området du trenger
En annen stor styrke ved metoden viser seg når dataene brukes senere. Hvis en forsker bare trenger et lite område fra et stort komprimert datasett, er det ikke nødvendig å rekonstruere hele filen.
WIEN-INR kan dekode bare et valgt interesseområde og gjøre det på ulike skalaer og oppløsninger. SLAC påpeker at dekomprimering av en komplett stor fil med en konvensjonell kodek kan ta minutter, timer eller til og med dager. Selektiv dekoding unngår mye av dette arbeidet.
I store vitenskapelige datamiljøer kan denne kapasiteten være like viktig som selve komprimeringsforholdet. Problemet er ikke bare kostnaden ved lagring. Flytting av data mellom lagringssystemer, datanoder og forskningsinstitusjoner bruker nettverkskapasitet, energi og tid.
Metoden fungerte på tvers av svært ulike datatyper
Forskerne begrenset ikke testene til én enkelt type røntgendatasett. De brukte metoden på molekyl- og materialmålinger, data om solens magnetfelt og vanlige fotografier. Det nevrale nettverket kunne tilpasse seg ulike datatyper og lære egenskapene som var viktige for hver av dem.
Forfatterne presenterer ikke WIEN-INR som en universell erstatning for eksisterende komprimerings- eller datareduksjonsmetoder. I stedet kan den fungere sammen med dem som et ekstra alternativ i tilfeller der det er særlig viktig å kunne gjenopprette finstruktur senere.
Forskere fra University of California, Davis og Carnegie Mellon University bidro også til studien. Teamet trente de nevrale nettverkene sine ved hjelp av superdatamaskinen Perlmutter ved US Department of Energy's NERSC-anlegg. Artikkelen, «Multi-resolution enhancement for full-spectrum neural representations», ble publisert i Nature Machine Intelligence 24. august 2026.
Europas forskningsinfrastruktur står overfor den samme utfordringen
Metodens potensial strekker seg langt utover ett enkelt instrument ved SLAC. Europeisk infrastruktur for partikkelfysikk, synkrotronforskning, astronomi, klimaforskning og satellittobservasjon genererer også raskt voksende datamengder.
Det som betyr noe her, er prinsippet snarere enn én bestemt algoritme. Når et instrument produserer mer informasjon enn det er praktisk å lagre og flytte i sin helhet, må datapipelinen stadig tidligere avgjøre hvilken informasjon som skal bevares og med hvilket nøyaktighetsnivå.
KIs rolle i vitenskapen er derfor ikke lenger begrenset til å finne mønstre etter at et eksperiment har funnet sted. Det neste viktige steget kan være å representere vitenskapelige data i en form som dramatisk reduserer kravene til lagring og databehandling, samtidig som de fine strukturene som kan vise seg å være viktige for den neste oppdagelsen, bevares.
Vitenskapelige instrumenter produserer mer data enn infrastrukturen kan ta imot
Motivasjonen bak den nye metoden kommer fra et svært praktisk problem i moderne eksperimentell vitenskap. Sensoroppløsning og målehastigheter øker så raskt at neste generasjons instrumenter begynner å generere datastrømmer som blir stadig dyrere å lagre i sin helhet, overføre og behandle senere.
Konvensjonell tapskomprimering kan redusere filstørrelser, men den kan også fjerne signaler med lav amplitude eller fine strukturer. I et vanlig fotografi trenger ikke dette tapet å bety noe. I en vitenskapelig måling kan imidlertid en liten detalj inneholde nettopp den fysiske informasjonen forskerne leter etter.
SLAC peker på de små flekkene som oppstår i røntgenmålinger som ett eksempel. Disse strukturene kan avsløre intern orden, defekter eller dynamikk i et materiale. Hvis en komprimeringsalgoritme behandler dem som støy, kan den ikke bare redusere filstørrelsen, men også den vitenskapelige verdien av målingen.
Wavelet-analyse skiller informasjon etter skala
Metoden som ble publisert i Nature Machine Intelligence, heter WIEN-INR. Den kombinerer wavelet-analyse med implisitte nevrale representasjoner.
Først deler wavelet-analysen datasettet inn i komponenter på ulike romlige skalaer, og skiller storskala strukturer fra fine detaljer. Et nevralt nettverk lærer deretter å representere informasjonen på disse ulike skalaene kompakt.
Denne arkitekturen bidrar til å unngå et vanlig problem med komprimering for generell bruk, der en bred bakgrunnsstruktur og en liten, men vitenskapelig viktig egenskap kan bli behandlet omtrent på samme måte.
Ifølge SLAC-forskeren Yuan Ni reduserte metoden vanligvis filstørrelsene med faktorer fra 10 til 100, avhengig av kildedataene og ønsket kvalitet. Resultatet bør imidlertid ikke tolkes som fullstendig tapsfri komprimering. Det er et kontrollert kompromiss mellom datavolum og signalintegritet, utformet for å bevare fine egenskaper som er viktige for analysen bedre enn en generell komprimeringsmetode.
Det er en mer presis beskrivelse enn å si at systemet «ikke mister noen data i det hele tatt».
Systemet kan dekode bare området du trenger
En annen stor styrke ved metoden viser seg når dataene brukes senere. Hvis en forsker bare trenger et lite område fra et stort komprimert datasett, er det ikke nødvendig å rekonstruere hele filen.
WIEN-INR kan dekode bare et valgt interesseområde og gjøre det på ulike skalaer og oppløsninger. SLAC påpeker at dekomprimering av en komplett stor fil med en konvensjonell kodek kan ta minutter, timer eller til og med dager. Selektiv dekoding unngår mye av dette arbeidet.
I store vitenskapelige datamiljøer kan denne kapasiteten være like viktig som selve komprimeringsforholdet. Problemet er ikke bare kostnaden ved lagring. Flytting av data mellom lagringssystemer, datanoder og forskningsinstitusjoner bruker nettverkskapasitet, energi og tid.
Metoden fungerte på tvers av svært ulike datatyper
Forskerne begrenset ikke testene til én enkelt type røntgendatasett. De brukte metoden på molekyl- og materialmålinger, data om solens magnetfelt og vanlige fotografier. Det nevrale nettverket kunne tilpasse seg ulike datatyper og lære egenskapene som var viktige for hver av dem.
Forfatterne presenterer ikke WIEN-INR som en universell erstatning for eksisterende komprimerings- eller datareduksjonsmetoder. I stedet kan den fungere sammen med dem som et ekstra alternativ i tilfeller der det er særlig viktig å kunne gjenopprette finstruktur senere.
Forskere fra University of California, Davis og Carnegie Mellon University bidro også til studien. Teamet trente de nevrale nettverkene sine ved hjelp av superdatamaskinen Perlmutter ved US Department of Energy's NERSC-anlegg. Artikkelen, «Multi-resolution enhancement for full-spectrum neural representations», ble publisert i Nature Machine Intelligence 24. august 2026.
Europas forskningsinfrastruktur står overfor den samme utfordringen
Metodens potensial strekker seg langt utover ett enkelt instrument ved SLAC. Europeisk infrastruktur for partikkelfysikk, synkrotronforskning, astronomi, klimaforskning og satellittobservasjon genererer også raskt voksende datamengder.
Det som betyr noe her, er prinsippet snarere enn én bestemt algoritme. Når et instrument produserer mer informasjon enn det er praktisk å lagre og flytte i sin helhet, må datapipelinen stadig tidligere avgjøre hvilken informasjon som skal bevares og med hvilket nøyaktighetsnivå.
KIs rolle i vitenskapen er derfor ikke lenger begrenset til å finne mønstre etter at et eksperiment har funnet sted. Det neste viktige steget kan være å representere vitenskapelige data i en form som dramatisk reduserer kravene til lagring og databehandling, samtidig som de fine strukturene som kan vise seg å være viktige for den neste oppdagelsen, bevares.
