Neue KI-Methode verkleinert wissenschaftliche Datensätze um bis zu das 100-Fache
Forschende am SLAC National Accelerator Laboratory haben eine auf neuronalen Netzwerken basierende Kompressionsmethode entwickelt, die wissenschaftliche Datenvolumina in Tests je nach Eingabedaten und erforderlichem Genauigkeitsniveau um den Faktor 10 bis 100 reduzierte. Die zentrale Idee besteht darin, nicht jeden Teil der Daten gleich stark zu komprimieren, sondern Strukturen über verschiedene räumliche Skalen hinweg zu erhalten, die für die wissenschaftliche Analyse entscheidend sein könnten. Die Studie wurde in Nature Machine Intelligence veröffentlicht.
Wissenschaftliche Instrumente erzeugen mehr Daten, als die Infrastruktur bewältigen kann
Die Motivation für die neue Methode ergibt sich aus einem sehr praktischen Problem der modernen experimentellen Wissenschaft. Sensorauflösung und Messraten steigen so schnell, dass Instrumente der nächsten Generation beginnen, Datenströme zu erzeugen, deren vollständige Speicherung, Übertragung und spätere Verarbeitung zunehmend teuer wird.
Herkömmliche verlustbehaftete Kompression kann Dateigrößen reduzieren, dabei aber auch Signale mit geringer Amplitude oder feine Strukturen entfernen. Bei einem gewöhnlichen Foto mag dieser Verlust keine Rolle spielen. In einer wissenschaftlichen Messung kann ein winziges Detail jedoch genau die physikalische Information enthalten, nach der Forschende suchen.
SLAC nennt als Beispiel die kleinen Sprenkel, die in Röntgenmessungen auftreten. Diese Strukturen können innere Ordnung, Defekte oder Dynamik innerhalb eines Materials sichtbar machen. Wenn ein Kompressionsalgorithmus sie als Rauschen behandelt, kann er nicht nur die Dateigröße, sondern auch den wissenschaftlichen Wert der Messung verringern.
Wavelet-Analyse trennt Informationen nach Skalen
Die in Nature Machine Intelligence veröffentlichte Methode heißt WIEN-INR. Sie kombiniert Wavelet-Analyse mit impliziten neuronalen Repräsentationen.
Zunächst zerlegt die Wavelet-Analyse den Datensatz in Komponenten unterschiedlicher räumlicher Skalen und unterscheidet großskalige Strukturen von feinen Details. Anschließend lernt ein neuronales Netzwerk, die Informationen auf diesen unterschiedlichen Skalen kompakt darzustellen.
Diese Architektur hilft, ein häufiges Problem allgemeiner Kompression zu vermeiden, bei dem eine großflächige Hintergrundstruktur und ein winziges, aber wissenschaftlich wichtiges Merkmal möglicherweise weitgehend gleich behandelt werden.
Laut dem SLAC-Forscher Yuan Ni reduzierte die Methode Dateigrößen typischerweise um den Faktor 10 bis 100, abhängig von den Quelldaten und der gewünschten Qualität. Dieses Ergebnis sollte jedoch nicht als vollständig verlustfreie Kompression interpretiert werden. Es handelt sich um einen kontrollierten Kompromiss zwischen Datenvolumen und Signaltreue, der darauf ausgelegt ist, für die Analyse relevante feine Merkmale besser zu erhalten als ein generischer Kompressionsansatz.
Das ist eine treffendere Beschreibung, als zu sagen, das System „verliere überhaupt keine Daten“.
Das System kann nur den benötigten Bereich dekodieren
Eine zweite große Stärke der Methode zeigt sich bei der späteren Nutzung der Daten. Benötigt ein Forschender aus einem großen komprimierten Datensatz nur einen kleinen Bereich, muss nicht die gesamte Datei rekonstruiert werden.
WIEN-INR kann nur einen ausgewählten interessierenden Bereich dekodieren und dies in unterschiedlichen Skalen und Auflösungen. SLAC weist darauf hin, dass das Dekomprimieren einer vollständigen großen Datei mit einem herkömmlichen Codec Minuten, Stunden oder sogar Tage dauern kann. Selektives Dekodieren vermeidet einen großen Teil dieser Arbeit.
In großen wissenschaftlichen Rechenumgebungen könnte diese Fähigkeit ebenso wichtig sein wie das Kompressionsverhältnis selbst. Das Problem sind nicht nur die Speicherkosten. Das Verschieben von Daten zwischen Speichersystemen, Rechenknoten und Forschungseinrichtungen verbraucht Netzwerkkapazität, Energie und Zeit.
Die Methode funktionierte bei sehr unterschiedlichen Datentypen
Die Forschenden beschränkten ihre Tests nicht auf eine einzige Art von Röntgendatensatz. Sie wandten die Methode auf Molekül- und Materialmessungen, Daten zu solaren Magnetfeldern und gewöhnliche Fotografien an. Das neuronale Netzwerk konnte sich an unterschiedliche Datentypen anpassen und die für jeden Typ wichtigen Merkmale lernen.
Die Autoren präsentieren WIEN-INR nicht als universellen Ersatz für bestehende Kompressions- oder Datenreduktionsmethoden. Stattdessen kann sie neben ihnen als zusätzliche Option in Fällen eingesetzt werden, in denen die spätere Wiedergewinnung feinskaliger Strukturen besonders wichtig ist.
Forschende der University of California, Davis und der Carnegie Mellon University trugen ebenfalls zu der Studie bei. Das Team trainierte seine neuronalen Netzwerke mit dem Perlmutter-Supercomputer an der NERSC-Einrichtung des US-Energieministeriums. Die Arbeit „Multi-resolution enhancement for full-spectrum neural representations“ wurde am 24. August 2026 in Nature Machine Intelligence veröffentlicht.
Europas Forschungsinfrastruktur steht vor derselben Herausforderung
Das Potenzial der Methode reicht weit über ein einzelnes Instrument am SLAC hinaus. Auch die europäische Infrastruktur für Teilchenphysik, Synchrotronwissenschaft, Astronomie, Klimaforschung und Satellitenbeobachtung erzeugt schnell wachsende Datenmengen.
Entscheidend ist dabei das Prinzip und nicht ein bestimmter Algorithmus. Wenn ein Instrument mehr Informationen erzeugt, als sich sinnvoll vollständig speichern und übertragen lassen, muss die Datenpipeline immer früher entscheiden, welche Informationen in welchem Maß an Genauigkeit erhalten werden sollen.
Die Rolle der KI in der Wissenschaft beschränkt sich daher nicht mehr darauf, nach einem Experiment Muster zu finden. Der nächste wichtige Schritt könnte darin bestehen, wissenschaftliche Daten in einer Form darzustellen, die Speicher- und Rechenanforderungen drastisch senkt und zugleich die feinen Strukturen erhält, die sich für die nächste Entdeckung als wichtig erweisen könnten.
Wissenschaftliche Instrumente erzeugen mehr Daten, als die Infrastruktur bewältigen kann
Die Motivation für die neue Methode ergibt sich aus einem sehr praktischen Problem der modernen experimentellen Wissenschaft. Sensorauflösung und Messraten steigen so schnell, dass Instrumente der nächsten Generation beginnen, Datenströme zu erzeugen, deren vollständige Speicherung, Übertragung und spätere Verarbeitung zunehmend teuer wird.
Herkömmliche verlustbehaftete Kompression kann Dateigrößen reduzieren, dabei aber auch Signale mit geringer Amplitude oder feine Strukturen entfernen. Bei einem gewöhnlichen Foto mag dieser Verlust keine Rolle spielen. In einer wissenschaftlichen Messung kann ein winziges Detail jedoch genau die physikalische Information enthalten, nach der Forschende suchen.
SLAC nennt als Beispiel die kleinen Sprenkel, die in Röntgenmessungen auftreten. Diese Strukturen können innere Ordnung, Defekte oder Dynamik innerhalb eines Materials sichtbar machen. Wenn ein Kompressionsalgorithmus sie als Rauschen behandelt, kann er nicht nur die Dateigröße, sondern auch den wissenschaftlichen Wert der Messung verringern.
Wavelet-Analyse trennt Informationen nach Skalen
Die in Nature Machine Intelligence veröffentlichte Methode heißt WIEN-INR. Sie kombiniert Wavelet-Analyse mit impliziten neuronalen Repräsentationen.
Zunächst zerlegt die Wavelet-Analyse den Datensatz in Komponenten unterschiedlicher räumlicher Skalen und unterscheidet großskalige Strukturen von feinen Details. Anschließend lernt ein neuronales Netzwerk, die Informationen auf diesen unterschiedlichen Skalen kompakt darzustellen.
Diese Architektur hilft, ein häufiges Problem allgemeiner Kompression zu vermeiden, bei dem eine großflächige Hintergrundstruktur und ein winziges, aber wissenschaftlich wichtiges Merkmal möglicherweise weitgehend gleich behandelt werden.
Laut dem SLAC-Forscher Yuan Ni reduzierte die Methode Dateigrößen typischerweise um den Faktor 10 bis 100, abhängig von den Quelldaten und der gewünschten Qualität. Dieses Ergebnis sollte jedoch nicht als vollständig verlustfreie Kompression interpretiert werden. Es handelt sich um einen kontrollierten Kompromiss zwischen Datenvolumen und Signaltreue, der darauf ausgelegt ist, für die Analyse relevante feine Merkmale besser zu erhalten als ein generischer Kompressionsansatz.
Das ist eine treffendere Beschreibung, als zu sagen, das System „verliere überhaupt keine Daten“.
Das System kann nur den benötigten Bereich dekodieren
Eine zweite große Stärke der Methode zeigt sich bei der späteren Nutzung der Daten. Benötigt ein Forschender aus einem großen komprimierten Datensatz nur einen kleinen Bereich, muss nicht die gesamte Datei rekonstruiert werden.
WIEN-INR kann nur einen ausgewählten interessierenden Bereich dekodieren und dies in unterschiedlichen Skalen und Auflösungen. SLAC weist darauf hin, dass das Dekomprimieren einer vollständigen großen Datei mit einem herkömmlichen Codec Minuten, Stunden oder sogar Tage dauern kann. Selektives Dekodieren vermeidet einen großen Teil dieser Arbeit.
In großen wissenschaftlichen Rechenumgebungen könnte diese Fähigkeit ebenso wichtig sein wie das Kompressionsverhältnis selbst. Das Problem sind nicht nur die Speicherkosten. Das Verschieben von Daten zwischen Speichersystemen, Rechenknoten und Forschungseinrichtungen verbraucht Netzwerkkapazität, Energie und Zeit.
Die Methode funktionierte bei sehr unterschiedlichen Datentypen
Die Forschenden beschränkten ihre Tests nicht auf eine einzige Art von Röntgendatensatz. Sie wandten die Methode auf Molekül- und Materialmessungen, Daten zu solaren Magnetfeldern und gewöhnliche Fotografien an. Das neuronale Netzwerk konnte sich an unterschiedliche Datentypen anpassen und die für jeden Typ wichtigen Merkmale lernen.
Die Autoren präsentieren WIEN-INR nicht als universellen Ersatz für bestehende Kompressions- oder Datenreduktionsmethoden. Stattdessen kann sie neben ihnen als zusätzliche Option in Fällen eingesetzt werden, in denen die spätere Wiedergewinnung feinskaliger Strukturen besonders wichtig ist.
Forschende der University of California, Davis und der Carnegie Mellon University trugen ebenfalls zu der Studie bei. Das Team trainierte seine neuronalen Netzwerke mit dem Perlmutter-Supercomputer an der NERSC-Einrichtung des US-Energieministeriums. Die Arbeit „Multi-resolution enhancement for full-spectrum neural representations“ wurde am 24. August 2026 in Nature Machine Intelligence veröffentlicht.
Europas Forschungsinfrastruktur steht vor derselben Herausforderung
Das Potenzial der Methode reicht weit über ein einzelnes Instrument am SLAC hinaus. Auch die europäische Infrastruktur für Teilchenphysik, Synchrotronwissenschaft, Astronomie, Klimaforschung und Satellitenbeobachtung erzeugt schnell wachsende Datenmengen.
Entscheidend ist dabei das Prinzip und nicht ein bestimmter Algorithmus. Wenn ein Instrument mehr Informationen erzeugt, als sich sinnvoll vollständig speichern und übertragen lassen, muss die Datenpipeline immer früher entscheiden, welche Informationen in welchem Maß an Genauigkeit erhalten werden sollen.
Die Rolle der KI in der Wissenschaft beschränkt sich daher nicht mehr darauf, nach einem Experiment Muster zu finden. Der nächste wichtige Schritt könnte darin bestehen, wissenschaftliche Daten in einer Form darzustellen, die Speicher- und Rechenanforderungen drastisch senkt und zugleich die feinen Strukturen erhält, die sich für die nächste Entdeckung als wichtig erweisen könnten.
