Ny AI-metod krymper vetenskapliga dataset med upp till 100 gånger
Forskare vid SLAC National Accelerator Laboratory har utvecklat en komprimeringsmetod baserad på neurala nätverk som i tester minskade vetenskapliga datavolymer med faktorer på 10 till 100, beroende på indata och den efterfrågade noggrannhetsnivån. Grundidén är att inte komprimera alla delar av data lika, utan att bevara strukturer över olika rumsliga skalor som kan visa sig vara avgörande för vetenskaplig analys. Studien publicerades i Nature Machine Intelligence.
Vetenskapliga instrument producerar mer data än infrastrukturen kan hantera
Drivkraften bakom den nya metoden kommer från ett mycket praktiskt problem inom modern experimentell vetenskap. Sensorupplösning och mäthastigheter ökar så snabbt att nästa generations instrument börjar generera dataströmmar som blir allt dyrare att lagra i sin helhet, överföra och bearbeta senare.
Konventionell förstörande komprimering kan minska filstorlekarna, men den kan också ta bort signaler med låg amplitud eller fina strukturer. I ett vanligt fotografi kanske den förlusten inte spelar någon roll. I en vetenskaplig mätning kan däremot en liten detalj innehålla exakt den fysikaliska information som forskarna söker.
SLAC pekar på de små korn som uppträder i röntgenmätningar som ett exempel. Dessa strukturer kan avslöja intern ordning, defekter eller dynamik i ett material. Om en komprimeringsalgoritm behandlar dem som brus kan den inte bara minska filstorleken utan också mätningens vetenskapliga värde.
Waveletanalys separerar information efter skala
Metoden som publicerades i Nature Machine Intelligence kallas WIEN-INR. Den kombinerar waveletanalys med implicita neurala representationer.
Först delar waveletanalysen upp datasetet i komponenter på olika rumsliga skalor och skiljer storskaliga strukturer från fina detaljer. Ett neuralt nätverk lär sig sedan att representera informationen på dessa olika skalor kompakt.
Denna arkitektur bidrar till att undvika ett vanligt problem med komprimering för allmänna ändamål, där en bred bakgrundsstruktur och en liten men vetenskapligt viktig egenskap kan behandlas på i stort sett samma sätt.
Enligt SLAC-forskaren Yuan Ni minskade metoden vanligtvis filstorlekarna med faktorer på 10 till 100, beroende på källdata och önskad kvalitet. Resultatet bör dock inte tolkas som helt förlustfri komprimering. Det är en kontrollerad avvägning mellan datavolym och signalåtergivning, utformad för att bevara fina egenskaper som är viktiga för analys bättre än ett generiskt komprimeringssätt.
Det är en mer korrekt beskrivning än att säga att systemet ”inte förlorar någon data alls”.
Systemet kan avkoda endast den region du behöver
En andra betydande styrka hos metoden framträder när data används senare. Om en forskare endast behöver en liten region från ett stort komprimerat dataset finns det inget behov av att återskapa hela filen.
WIEN-INR kan avkoda endast en vald intresseregion och göra det på olika skalor och upplösningar. SLAC noterar att dekomprimering av en komplett stor fil med en konventionell kodek kan ta minuter, timmar eller till och med dagar. Selektiv avkodning undviker en stor del av det arbetet.
I stora vetenskapliga datormiljöer kan denna förmåga vara lika viktig som själva komprimeringsgraden. Problemet handlar inte bara om kostnaden för lagring. Att flytta data mellan lagringssystem, beräkningsnoder och forskningsinstitutioner förbrukar nätverkskapacitet, energi och tid.
Metoden fungerade för mycket olika typer av data
Forskarna begränsade inte sina tester till en enda typ av röntgendataset. De tillämpade metoden på molekyl- och materialmätningar, data om solens magnetfält och vanliga fotografier. Det neurala nätverket kunde anpassa sig till olika datatyper och lära sig vilka egenskaper som var viktiga för var och en.
Författarna presenterar inte WIEN-INR som en universell ersättning för befintliga metoder för komprimering eller datareduktion. I stället kan den fungera tillsammans med dem som ett ytterligare alternativ i fall där det är särskilt viktigt att senare kunna återvinna struktur i fin skala.
Forskare från University of California, Davis och Carnegie Mellon University bidrog också till studien. Teamet tränade sina neurala nätverk med superdatorn Perlmutter vid USA:s energidepartements NERSC-anläggning. Artikeln, ”Multi-resolution enhancement for full-spectrum neural representations”, publicerades i Nature Machine Intelligence den 24 augusti 2026.
Europas forskningsinfrastruktur står inför samma utmaning
Metodens potential sträcker sig långt bortom ett enskilt instrument vid SLAC. Europeisk infrastruktur för partikelfysik, synkrotronvetenskap, astronomi, klimatforskning och satellitobservation genererar också snabbt växande datavolymer.
Det som är viktigt här är principen snarare än någon specifik algoritm. När ett instrument producerar mer information än det är praktiskt att lagra och flytta i sin helhet måste datapipelinen allt tidigare avgöra vilken information som ska bevaras och med vilken grad av återgivning.
AI:s roll inom vetenskapen är därför inte längre begränsad till att hitta mönster efter att ett experiment har genomförts. Nästa viktiga steg kan vara att representera vetenskapliga data i en form som dramatiskt minskar kraven på lagring och beräkning, samtidigt som de fina strukturer som kan visa sig vara viktiga för nästa upptäckt bevaras.
Vetenskapliga instrument producerar mer data än infrastrukturen kan hantera
Drivkraften bakom den nya metoden kommer från ett mycket praktiskt problem inom modern experimentell vetenskap. Sensorupplösning och mäthastigheter ökar så snabbt att nästa generations instrument börjar generera dataströmmar som blir allt dyrare att lagra i sin helhet, överföra och bearbeta senare.
Konventionell förstörande komprimering kan minska filstorlekarna, men den kan också ta bort signaler med låg amplitud eller fina strukturer. I ett vanligt fotografi kanske den förlusten inte spelar någon roll. I en vetenskaplig mätning kan däremot en liten detalj innehålla exakt den fysikaliska information som forskarna söker.
SLAC pekar på de små korn som uppträder i röntgenmätningar som ett exempel. Dessa strukturer kan avslöja intern ordning, defekter eller dynamik i ett material. Om en komprimeringsalgoritm behandlar dem som brus kan den inte bara minska filstorleken utan också mätningens vetenskapliga värde.
Waveletanalys separerar information efter skala
Metoden som publicerades i Nature Machine Intelligence kallas WIEN-INR. Den kombinerar waveletanalys med implicita neurala representationer.
Först delar waveletanalysen upp datasetet i komponenter på olika rumsliga skalor och skiljer storskaliga strukturer från fina detaljer. Ett neuralt nätverk lär sig sedan att representera informationen på dessa olika skalor kompakt.
Denna arkitektur bidrar till att undvika ett vanligt problem med komprimering för allmänna ändamål, där en bred bakgrundsstruktur och en liten men vetenskapligt viktig egenskap kan behandlas på i stort sett samma sätt.
Enligt SLAC-forskaren Yuan Ni minskade metoden vanligtvis filstorlekarna med faktorer på 10 till 100, beroende på källdata och önskad kvalitet. Resultatet bör dock inte tolkas som helt förlustfri komprimering. Det är en kontrollerad avvägning mellan datavolym och signalåtergivning, utformad för att bevara fina egenskaper som är viktiga för analys bättre än ett generiskt komprimeringssätt.
Det är en mer korrekt beskrivning än att säga att systemet ”inte förlorar någon data alls”.
Systemet kan avkoda endast den region du behöver
En andra betydande styrka hos metoden framträder när data används senare. Om en forskare endast behöver en liten region från ett stort komprimerat dataset finns det inget behov av att återskapa hela filen.
WIEN-INR kan avkoda endast en vald intresseregion och göra det på olika skalor och upplösningar. SLAC noterar att dekomprimering av en komplett stor fil med en konventionell kodek kan ta minuter, timmar eller till och med dagar. Selektiv avkodning undviker en stor del av det arbetet.
I stora vetenskapliga datormiljöer kan denna förmåga vara lika viktig som själva komprimeringsgraden. Problemet handlar inte bara om kostnaden för lagring. Att flytta data mellan lagringssystem, beräkningsnoder och forskningsinstitutioner förbrukar nätverkskapacitet, energi och tid.
Metoden fungerade för mycket olika typer av data
Forskarna begränsade inte sina tester till en enda typ av röntgendataset. De tillämpade metoden på molekyl- och materialmätningar, data om solens magnetfält och vanliga fotografier. Det neurala nätverket kunde anpassa sig till olika datatyper och lära sig vilka egenskaper som var viktiga för var och en.
Författarna presenterar inte WIEN-INR som en universell ersättning för befintliga metoder för komprimering eller datareduktion. I stället kan den fungera tillsammans med dem som ett ytterligare alternativ i fall där det är särskilt viktigt att senare kunna återvinna struktur i fin skala.
Forskare från University of California, Davis och Carnegie Mellon University bidrog också till studien. Teamet tränade sina neurala nätverk med superdatorn Perlmutter vid USA:s energidepartements NERSC-anläggning. Artikeln, ”Multi-resolution enhancement for full-spectrum neural representations”, publicerades i Nature Machine Intelligence den 24 augusti 2026.
Europas forskningsinfrastruktur står inför samma utmaning
Metodens potential sträcker sig långt bortom ett enskilt instrument vid SLAC. Europeisk infrastruktur för partikelfysik, synkrotronvetenskap, astronomi, klimatforskning och satellitobservation genererar också snabbt växande datavolymer.
Det som är viktigt här är principen snarare än någon specifik algoritm. När ett instrument producerar mer information än det är praktiskt att lagra och flytta i sin helhet måste datapipelinen allt tidigare avgöra vilken information som ska bevaras och med vilken grad av återgivning.
AI:s roll inom vetenskapen är därför inte längre begränsad till att hitta mönster efter att ett experiment har genomförts. Nästa viktiga steg kan vara att representera vetenskapliga data i en form som dramatiskt minskar kraven på lagring och beräkning, samtidigt som de fina strukturer som kan visa sig vara viktiga för nästa upptäckt bevaras.
