Nieuwe AI-methode verkleint wetenschappelijke datasets tot 100 keer
Onderzoekers van het SLAC National Accelerator Laboratory hebben een op neurale netwerken gebaseerde compressiemethode ontwikkeld die wetenschappelijke datavolumes in tests met factoren van 10 tot 100 verkleinde, afhankelijk van de invoergegevens en het vereiste nauwkeurigheidsniveau. Het kernidee is niet om elk deel van de data even sterk te comprimeren, maar om structuren op verschillende ruimtelijke schalen te behouden die cruciaal kunnen zijn voor wetenschappelijke analyses. De studie is gepubliceerd in Nature Machine Intelligence.
Wetenschappelijke instrumenten produceren meer data dan de infrastructuur kan verwerken
De drijfveer achter de nieuwe methode komt voort uit een zeer praktisch probleem in de moderne experimentele wetenschap. Sensorresolutie en meetsnelheden nemen zo snel toe dat instrumenten van de volgende generatie datastromen beginnen te genereren die steeds duurder worden om volledig op te slaan, over te dragen en later te verwerken.
Conventionele compressie met verlies kan bestandsgroottes verkleinen, maar kan ook signalen met een lage amplitude of fijne structuren verwijderen. In een gewone foto hoeft dat verlies niet uit te maken. In een wetenschappelijke meting kan een klein detail echter precies de fysieke informatie bevatten waar onderzoekers naar zoeken.
SLAC wijst op de kleine spikkels die in röntgenmetingen verschijnen als voorbeeld. Deze structuren kunnen interne ordening, defecten of dynamiek binnen een materiaal onthullen. Als een compressiealgoritme ze als ruis behandelt, kan het niet alleen de bestandsgrootte maar ook de wetenschappelijke waarde van de meting verminderen.
Waveletanalyse scheidt informatie naar schaal
De in Nature Machine Intelligence gepubliceerde methode heet WIEN-INR. Deze combineert waveletanalyse met impliciete neurale representaties.
Eerst scheidt waveletanalyse de dataset in componenten op verschillende ruimtelijke schalen, waarbij grootschalige structuren worden onderscheiden van fijne details. Vervolgens leert een neuraal netwerk de informatie op die verschillende schalen compact weer te geven.
Deze architectuur helpt een veelvoorkomend probleem bij algemene compressie te vermijden, waarbij een brede achtergrondstructuur en een klein maar wetenschappelijk belangrijk kenmerk mogelijk vrijwel op dezelfde manier worden behandeld.
Volgens SLAC-onderzoeker Yuan Ni verkleinde de methode de bestandsgroottes doorgaans met factoren van 10 tot 100, afhankelijk van de brondata en de gewenste kwaliteit. Dat resultaat moet echter niet worden geïnterpreteerd als volledig verliesloze compressie. Het is een gecontroleerde afweging tussen datavolume en signaalgetrouwheid, ontworpen om fijne kenmerken die voor analyse belangrijk zijn beter te behouden dan een generieke compressiebenadering.
Dat is een nauwkeurigere omschrijving dan zeggen dat het systeem “helemaal geen data verliest”.
Het systeem kan alleen de regio decoderen die u nodig hebt
Een tweede belangrijke kracht van de methode blijkt wanneer de data later wordt gebruikt. Als een onderzoeker slechts een klein gebied uit een grote gecomprimeerde dataset nodig heeft, hoeft niet het volledige bestand te worden gereconstrueerd.
WIEN-INR kan alleen een geselecteerd interessegebied decoderen, en dat op verschillende schalen en resoluties. SLAC merkt op dat het decomprimeren van een volledig groot bestand met een conventionele codec minuten, uren of zelfs dagen kan duren. Selectieve decodering voorkomt veel van dat werk.
In grote wetenschappelijke computeromgevingen kan deze mogelijkheid net zo belangrijk zijn als de compressieverhouding zelf. Het probleem is niet alleen de opslagkosten. Het verplaatsen van data tussen opslagsystemen, rekenknooppunten en onderzoeksinstellingen verbruikt netwerkcapaciteit, energie en tijd.
De methode werkte met zeer verschillende soorten data
De onderzoekers beperkten hun tests niet tot één type röntgendataset. Zij pasten de methode toe op moleculaire en materiaalmetingen, gegevens over magnetische velden van de zon en gewone foto's. Het neurale netwerk kon zich aanpassen aan verschillende datatypen en de kenmerken leren die voor elk type van belang waren.
De auteurs presenteren WIEN-INR niet als een universele vervanging voor bestaande compressie- of datareductiemethoden. In plaats daarvan kan het naast deze methoden werken als extra optie in gevallen waarin het later terughalen van fijnschalige structuren bijzonder belangrijk is.
Onderzoekers van de University of California, Davis en Carnegie Mellon University droegen eveneens bij aan de studie. Het team trainde zijn neurale netwerken met de Perlmutter-supercomputer bij de NERSC-faciliteit van het US Department of Energy. Het artikel, “Multi-resolution enhancement for full-spectrum neural representations”, werd op 24 augustus 2026 gepubliceerd in Nature Machine Intelligence.
De Europese onderzoeksinfrastructuur staat voor dezelfde uitdaging
Het potentieel van de methode reikt veel verder dan één enkel instrument bij SLAC. Ook de Europese infrastructuur voor deeltjesfysica, synchrotronwetenschap, astronomie, klimaatonderzoek en satellietobservatie genereert snel groeiende datavolumes.
Hier telt het principe meer dan één specifiek algoritme. Wanneer een instrument meer informatie produceert dan praktisch volledig kan worden opgeslagen en verplaatst, moet de datapijplijn steeds vroeger beslissen welke informatie behouden moet blijven en met welk niveau van getrouwheid.
De rol van AI in de wetenschap beperkt zich daarom niet langer tot het vinden van patronen nadat een experiment heeft plaatsgevonden. De volgende belangrijke stap kan zijn om wetenschappelijke data weer te geven in een vorm die de opslag- en rekenbehoeften drastisch vermindert, terwijl de fijne structuren behouden blijven die van belang kunnen blijken voor de volgende ontdekking.
Wetenschappelijke instrumenten produceren meer data dan de infrastructuur kan verwerken
De drijfveer achter de nieuwe methode komt voort uit een zeer praktisch probleem in de moderne experimentele wetenschap. Sensorresolutie en meetsnelheden nemen zo snel toe dat instrumenten van de volgende generatie datastromen beginnen te genereren die steeds duurder worden om volledig op te slaan, over te dragen en later te verwerken.
Conventionele compressie met verlies kan bestandsgroottes verkleinen, maar kan ook signalen met een lage amplitude of fijne structuren verwijderen. In een gewone foto hoeft dat verlies niet uit te maken. In een wetenschappelijke meting kan een klein detail echter precies de fysieke informatie bevatten waar onderzoekers naar zoeken.
SLAC wijst op de kleine spikkels die in röntgenmetingen verschijnen als voorbeeld. Deze structuren kunnen interne ordening, defecten of dynamiek binnen een materiaal onthullen. Als een compressiealgoritme ze als ruis behandelt, kan het niet alleen de bestandsgrootte maar ook de wetenschappelijke waarde van de meting verminderen.
Waveletanalyse scheidt informatie naar schaal
De in Nature Machine Intelligence gepubliceerde methode heet WIEN-INR. Deze combineert waveletanalyse met impliciete neurale representaties.
Eerst scheidt waveletanalyse de dataset in componenten op verschillende ruimtelijke schalen, waarbij grootschalige structuren worden onderscheiden van fijne details. Vervolgens leert een neuraal netwerk de informatie op die verschillende schalen compact weer te geven.
Deze architectuur helpt een veelvoorkomend probleem bij algemene compressie te vermijden, waarbij een brede achtergrondstructuur en een klein maar wetenschappelijk belangrijk kenmerk mogelijk vrijwel op dezelfde manier worden behandeld.
Volgens SLAC-onderzoeker Yuan Ni verkleinde de methode de bestandsgroottes doorgaans met factoren van 10 tot 100, afhankelijk van de brondata en de gewenste kwaliteit. Dat resultaat moet echter niet worden geïnterpreteerd als volledig verliesloze compressie. Het is een gecontroleerde afweging tussen datavolume en signaalgetrouwheid, ontworpen om fijne kenmerken die voor analyse belangrijk zijn beter te behouden dan een generieke compressiebenadering.
Dat is een nauwkeurigere omschrijving dan zeggen dat het systeem “helemaal geen data verliest”.
Het systeem kan alleen de regio decoderen die u nodig hebt
Een tweede belangrijke kracht van de methode blijkt wanneer de data later wordt gebruikt. Als een onderzoeker slechts een klein gebied uit een grote gecomprimeerde dataset nodig heeft, hoeft niet het volledige bestand te worden gereconstrueerd.
WIEN-INR kan alleen een geselecteerd interessegebied decoderen, en dat op verschillende schalen en resoluties. SLAC merkt op dat het decomprimeren van een volledig groot bestand met een conventionele codec minuten, uren of zelfs dagen kan duren. Selectieve decodering voorkomt veel van dat werk.
In grote wetenschappelijke computeromgevingen kan deze mogelijkheid net zo belangrijk zijn als de compressieverhouding zelf. Het probleem is niet alleen de opslagkosten. Het verplaatsen van data tussen opslagsystemen, rekenknooppunten en onderzoeksinstellingen verbruikt netwerkcapaciteit, energie en tijd.
De methode werkte met zeer verschillende soorten data
De onderzoekers beperkten hun tests niet tot één type röntgendataset. Zij pasten de methode toe op moleculaire en materiaalmetingen, gegevens over magnetische velden van de zon en gewone foto's. Het neurale netwerk kon zich aanpassen aan verschillende datatypen en de kenmerken leren die voor elk type van belang waren.
De auteurs presenteren WIEN-INR niet als een universele vervanging voor bestaande compressie- of datareductiemethoden. In plaats daarvan kan het naast deze methoden werken als extra optie in gevallen waarin het later terughalen van fijnschalige structuren bijzonder belangrijk is.
Onderzoekers van de University of California, Davis en Carnegie Mellon University droegen eveneens bij aan de studie. Het team trainde zijn neurale netwerken met de Perlmutter-supercomputer bij de NERSC-faciliteit van het US Department of Energy. Het artikel, “Multi-resolution enhancement for full-spectrum neural representations”, werd op 24 augustus 2026 gepubliceerd in Nature Machine Intelligence.
De Europese onderzoeksinfrastructuur staat voor dezelfde uitdaging
Het potentieel van de methode reikt veel verder dan één enkel instrument bij SLAC. Ook de Europese infrastructuur voor deeltjesfysica, synchrotronwetenschap, astronomie, klimaatonderzoek en satellietobservatie genereert snel groeiende datavolumes.
Hier telt het principe meer dan één specifiek algoritme. Wanneer een instrument meer informatie produceert dan praktisch volledig kan worden opgeslagen en verplaatst, moet de datapijplijn steeds vroeger beslissen welke informatie behouden moet blijven en met welk niveau van getrouwheid.
De rol van AI in de wetenschap beperkt zich daarom niet langer tot het vinden van patronen nadat een experiment heeft plaatsgevonden. De volgende belangrijke stap kan zijn om wetenschappelijke data weer te geven in een vorm die de opslag- en rekenbehoeften drastisch vermindert, terwijl de fijne structuren behouden blijven die van belang kunnen blijken voor de volgende ontdekking.
