Νέα μέθοδος AI συρρικνώνει επιστημονικά σύνολα δεδομένων έως και 100 φορές
Ερευνητές στο Εθνικό Εργαστήριο Επιταχυντών SLAC ανέπτυξαν μια μέθοδο συμπίεσης βασισμένη σε νευρωνικά δίκτυα, η οποία στις δοκιμές μείωσε τους όγκους επιστημονικών δεδομένων κατά συντελεστές από 10 έως 100, ανάλογα με τα δεδομένα εισόδου και το απαιτούμενο επίπεδο ακρίβειας. Η βασική ιδέα δεν είναι η ισότιμη συμπίεση κάθε τμήματος των δεδομένων, αλλά η διατήρηση δομών σε διαφορετικές χωρικές κλίμακες που θα μπορούσαν να αποδειχθούν κρίσιμες για την επιστημονική ανάλυση. Η μελέτη δημοσιεύθηκε στο Nature Machine Intelligence.
Τα επιστημονικά όργανα παράγουν περισσότερα δεδομένα από όσα μπορεί να απορροφήσει η υποδομή
Το κίνητρο πίσω από τη νέα μέθοδο προέρχεται από ένα πολύ πρακτικό πρόβλημα της σύγχρονης πειραματικής επιστήμης. Η ανάλυση των αισθητήρων και οι ρυθμοί μετρήσεων αυξάνονται τόσο γρήγορα, ώστε τα όργανα επόμενης γενιάς αρχίζουν να παράγουν ροές δεδομένων που γίνονται ολοένα ακριβότερες στην πλήρη αποθήκευση, μεταφορά και μετέπειτα επεξεργασία τους.
Η συμβατική συμπίεση με απώλειες μπορεί να μειώσει τα μεγέθη των αρχείων, αλλά ενδέχεται επίσης να αφαιρέσει σήματα χαμηλού πλάτους ή λεπτές δομές. Σε μια συνηθισμένη φωτογραφία, αυτή η απώλεια μπορεί να μην έχει σημασία. Σε μια επιστημονική μέτρηση, ωστόσο, μια μικροσκοπική λεπτομέρεια μπορεί να περιέχει ακριβώς τη φυσική πληροφορία που αναζητούν οι ερευνητές.
Το SLAC αναφέρει ως παράδειγμα τα μικρά στίγματα που εμφανίζονται στις μετρήσεις ακτίνων Χ. Αυτές οι δομές μπορούν να αποκαλύψουν εσωτερική διάταξη, ατέλειες ή δυναμική μέσα σε ένα υλικό. Αν ένας αλγόριθμος συμπίεσης τα αντιμετωπίσει ως θόρυβο, μπορεί να μειώσει όχι μόνο το μέγεθος του αρχείου αλλά και την επιστημονική αξία της μέτρησης.
Η ανάλυση κυματιδίων διαχωρίζει την πληροφορία ανά κλίμακα
Η μέθοδος που δημοσιεύθηκε στο Nature Machine Intelligence ονομάζεται WIEN-INR. Συνδυάζει την ανάλυση κυματιδίων με έμμεσες νευρωνικές αναπαραστάσεις.
Αρχικά, η ανάλυση κυματιδίων διαχωρίζει το σύνολο δεδομένων σε συνιστώσες διαφορετικών χωρικών κλιμάκων, διακρίνοντας τις δομές μεγάλης κλίμακας από τη λεπτομερή πληροφορία. Στη συνέχεια, ένα νευρωνικό δίκτυο μαθαίνει να αναπαριστά συμπαγώς την πληροφορία σε αυτές τις διαφορετικές κλίμακες.
Αυτή η αρχιτεκτονική βοηθά να αποφευχθεί ένα συνηθισμένο πρόβλημα της συμπίεσης γενικής χρήσης, όπου μια ευρεία δομή υποβάθρου και ένα μικροσκοπικό αλλά επιστημονικά σημαντικό χαρακτηριστικό μπορεί να αντιμετωπίζονται σχεδόν με τον ίδιο τρόπο.
Σύμφωνα με τον ερευνητή του SLAC Yuan Ni, η μέθοδος συνήθως μείωνε τα μεγέθη αρχείων κατά συντελεστές από 10 έως 100, ανάλογα με τα δεδομένα προέλευσης και την επιθυμητή ποιότητα. Ωστόσο, αυτό το αποτέλεσμα δεν θα πρέπει να ερμηνεύεται ως πλήρως χωρίς απώλειες συμπίεση. Πρόκειται για έναν ελεγχόμενο συμβιβασμό μεταξύ όγκου δεδομένων και πιστότητας σήματος, σχεδιασμένο ώστε να διατηρεί τα λεπτά χαρακτηριστικά που έχουν σημασία για την ανάλυση καλύτερα από μια γενική προσέγγιση συμπίεσης.
Αυτή είναι ακριβέστερη περιγραφή από το να λέγεται ότι το σύστημα «δεν χάνει καθόλου δεδομένα».
Το σύστημα μπορεί να αποκωδικοποιεί μόνο την περιοχή που χρειάζεστε
Ένα δεύτερο σημαντικό πλεονέκτημα της μεθόδου εμφανίζεται όταν τα δεδομένα χρησιμοποιούνται αργότερα. Αν ένας ερευνητής χρειάζεται μόνο μια μικρή περιοχή από ένα μεγάλο συμπιεσμένο σύνολο δεδομένων, δεν απαιτείται η ανακατασκευή ολόκληρου του αρχείου.
Το WIEN-INR μπορεί να αποκωδικοποιεί μόνο μια επιλεγμένη περιοχή ενδιαφέροντος και να το κάνει σε διαφορετικές κλίμακες και αναλύσεις. Το SLAC σημειώνει ότι η αποσυμπίεση ενός πλήρους μεγάλου αρχείου με έναν συμβατικό κωδικοποιητή μπορεί να διαρκέσει λεπτά, ώρες ή ακόμη και ημέρες. Η επιλεκτική αποκωδικοποίηση αποφεύγει μεγάλο μέρος αυτής της εργασίας.
Σε μεγάλα περιβάλλοντα επιστημονικών υπολογισμών, αυτή η δυνατότητα μπορεί να είναι εξίσου σημαντική με τον ίδιο τον λόγο συμπίεσης. Το πρόβλημα δεν είναι απλώς το κόστος αποθήκευσης. Η μετακίνηση δεδομένων μεταξύ συστημάτων αποθήκευσης, υπολογιστικών κόμβων και ερευνητικών ιδρυμάτων καταναλώνει χωρητικότητα δικτύου, ενέργεια και χρόνο.
Η μέθοδος λειτούργησε σε πολύ διαφορετικούς τύπους δεδομένων
Οι ερευνητές δεν περιόρισαν τις δοκιμές τους σε έναν μόνο τύπο συνόλου δεδομένων ακτίνων Χ. Εφάρμοσαν τη μέθοδο σε μοριακές μετρήσεις και μετρήσεις υλικών, δεδομένα του ηλιακού μαγνητικού πεδίου και συνηθισμένες φωτογραφίες. Το νευρωνικό δίκτυο μπόρεσε να προσαρμοστεί σε διαφορετικούς τύπους δεδομένων και να μάθει τα χαρακτηριστικά που είχαν σημασία για τον καθένα.
Οι συγγραφείς δεν παρουσιάζουν το WIEN-INR ως καθολική αντικατάσταση των υπαρχουσών μεθόδων συμπίεσης ή μείωσης δεδομένων. Αντίθετα, μπορεί να λειτουργεί παράλληλα με αυτές ως μια πρόσθετη επιλογή σε περιπτώσεις όπου η μετέπειτα ανάκτηση δομής λεπτής κλίμακας είναι ιδιαίτερα σημαντική.
Στη μελέτη συνέβαλαν επίσης ερευνητές από το Πανεπιστήμιο της Καλιφόρνιας, Davis και το Πανεπιστήμιο Carnegie Mellon. Η ομάδα εκπαίδευσε τα νευρωνικά της δίκτυα χρησιμοποιώντας τον υπερυπολογιστή Perlmutter στην εγκατάσταση NERSC του Υπουργείου Ενέργειας των ΗΠΑ. Η εργασία, «Multi-resolution enhancement for full-spectrum neural representations», δημοσιεύθηκε στο Nature Machine Intelligence στις 24 Αυγούστου 2026.
Η ερευνητική υποδομή της Ευρώπης αντιμετωπίζει την ίδια πρόκληση
Οι δυνατότητες της μεθόδου εκτείνονται πολύ πέρα από οποιοδήποτε μεμονωμένο όργανο στο SLAC. Η ευρωπαϊκή υποδομή για τη φυσική σωματιδίων, την επιστήμη του σύγχροτρον, την αστρονομία, την κλιματική έρευνα και τη δορυφορική παρατήρηση παράγει επίσης ταχέως αυξανόμενους όγκους δεδομένων.
Αυτό που έχει σημασία εδώ είναι η αρχή και όχι ένας συγκεκριμένος αλγόριθμος. Όταν ένα όργανο παράγει περισσότερη πληροφορία από όση είναι πρακτικό να αποθηκευτεί και να μετακινηθεί πλήρως, η αλυσίδα επεξεργασίας δεδομένων πρέπει να αποφασίζει ολοένα νωρίτερα ποια πληροφορία θα διατηρεί και σε ποιο επίπεδο πιστότητας.
Επομένως, ο ρόλος της AI στην επιστήμη δεν περιορίζεται πλέον στην εύρεση προτύπων μετά την πραγματοποίηση ενός πειράματος. Το επόμενο σημαντικό βήμα μπορεί να είναι η αναπαράσταση επιστημονικών δεδομένων σε μια μορφή που μειώνει δραματικά τις απαιτήσεις αποθήκευσης και υπολογιστικής ισχύος, διατηρώντας παράλληλα τις λεπτές δομές που θα μπορούσαν να αποδειχθούν σημαντικές για την επόμενη ανακάλυψη.
Τα επιστημονικά όργανα παράγουν περισσότερα δεδομένα από όσα μπορεί να απορροφήσει η υποδομή
Το κίνητρο πίσω από τη νέα μέθοδο προέρχεται από ένα πολύ πρακτικό πρόβλημα της σύγχρονης πειραματικής επιστήμης. Η ανάλυση των αισθητήρων και οι ρυθμοί μετρήσεων αυξάνονται τόσο γρήγορα, ώστε τα όργανα επόμενης γενιάς αρχίζουν να παράγουν ροές δεδομένων που γίνονται ολοένα ακριβότερες στην πλήρη αποθήκευση, μεταφορά και μετέπειτα επεξεργασία τους.
Η συμβατική συμπίεση με απώλειες μπορεί να μειώσει τα μεγέθη των αρχείων, αλλά ενδέχεται επίσης να αφαιρέσει σήματα χαμηλού πλάτους ή λεπτές δομές. Σε μια συνηθισμένη φωτογραφία, αυτή η απώλεια μπορεί να μην έχει σημασία. Σε μια επιστημονική μέτρηση, ωστόσο, μια μικροσκοπική λεπτομέρεια μπορεί να περιέχει ακριβώς τη φυσική πληροφορία που αναζητούν οι ερευνητές.
Το SLAC αναφέρει ως παράδειγμα τα μικρά στίγματα που εμφανίζονται στις μετρήσεις ακτίνων Χ. Αυτές οι δομές μπορούν να αποκαλύψουν εσωτερική διάταξη, ατέλειες ή δυναμική μέσα σε ένα υλικό. Αν ένας αλγόριθμος συμπίεσης τα αντιμετωπίσει ως θόρυβο, μπορεί να μειώσει όχι μόνο το μέγεθος του αρχείου αλλά και την επιστημονική αξία της μέτρησης.
Η ανάλυση κυματιδίων διαχωρίζει την πληροφορία ανά κλίμακα
Η μέθοδος που δημοσιεύθηκε στο Nature Machine Intelligence ονομάζεται WIEN-INR. Συνδυάζει την ανάλυση κυματιδίων με έμμεσες νευρωνικές αναπαραστάσεις.
Αρχικά, η ανάλυση κυματιδίων διαχωρίζει το σύνολο δεδομένων σε συνιστώσες διαφορετικών χωρικών κλιμάκων, διακρίνοντας τις δομές μεγάλης κλίμακας από τη λεπτομερή πληροφορία. Στη συνέχεια, ένα νευρωνικό δίκτυο μαθαίνει να αναπαριστά συμπαγώς την πληροφορία σε αυτές τις διαφορετικές κλίμακες.
Αυτή η αρχιτεκτονική βοηθά να αποφευχθεί ένα συνηθισμένο πρόβλημα της συμπίεσης γενικής χρήσης, όπου μια ευρεία δομή υποβάθρου και ένα μικροσκοπικό αλλά επιστημονικά σημαντικό χαρακτηριστικό μπορεί να αντιμετωπίζονται σχεδόν με τον ίδιο τρόπο.
Σύμφωνα με τον ερευνητή του SLAC Yuan Ni, η μέθοδος συνήθως μείωνε τα μεγέθη αρχείων κατά συντελεστές από 10 έως 100, ανάλογα με τα δεδομένα προέλευσης και την επιθυμητή ποιότητα. Ωστόσο, αυτό το αποτέλεσμα δεν θα πρέπει να ερμηνεύεται ως πλήρως χωρίς απώλειες συμπίεση. Πρόκειται για έναν ελεγχόμενο συμβιβασμό μεταξύ όγκου δεδομένων και πιστότητας σήματος, σχεδιασμένο ώστε να διατηρεί τα λεπτά χαρακτηριστικά που έχουν σημασία για την ανάλυση καλύτερα από μια γενική προσέγγιση συμπίεσης.
Αυτή είναι ακριβέστερη περιγραφή από το να λέγεται ότι το σύστημα «δεν χάνει καθόλου δεδομένα».
Το σύστημα μπορεί να αποκωδικοποιεί μόνο την περιοχή που χρειάζεστε
Ένα δεύτερο σημαντικό πλεονέκτημα της μεθόδου εμφανίζεται όταν τα δεδομένα χρησιμοποιούνται αργότερα. Αν ένας ερευνητής χρειάζεται μόνο μια μικρή περιοχή από ένα μεγάλο συμπιεσμένο σύνολο δεδομένων, δεν απαιτείται η ανακατασκευή ολόκληρου του αρχείου.
Το WIEN-INR μπορεί να αποκωδικοποιεί μόνο μια επιλεγμένη περιοχή ενδιαφέροντος και να το κάνει σε διαφορετικές κλίμακες και αναλύσεις. Το SLAC σημειώνει ότι η αποσυμπίεση ενός πλήρους μεγάλου αρχείου με έναν συμβατικό κωδικοποιητή μπορεί να διαρκέσει λεπτά, ώρες ή ακόμη και ημέρες. Η επιλεκτική αποκωδικοποίηση αποφεύγει μεγάλο μέρος αυτής της εργασίας.
Σε μεγάλα περιβάλλοντα επιστημονικών υπολογισμών, αυτή η δυνατότητα μπορεί να είναι εξίσου σημαντική με τον ίδιο τον λόγο συμπίεσης. Το πρόβλημα δεν είναι απλώς το κόστος αποθήκευσης. Η μετακίνηση δεδομένων μεταξύ συστημάτων αποθήκευσης, υπολογιστικών κόμβων και ερευνητικών ιδρυμάτων καταναλώνει χωρητικότητα δικτύου, ενέργεια και χρόνο.
Η μέθοδος λειτούργησε σε πολύ διαφορετικούς τύπους δεδομένων
Οι ερευνητές δεν περιόρισαν τις δοκιμές τους σε έναν μόνο τύπο συνόλου δεδομένων ακτίνων Χ. Εφάρμοσαν τη μέθοδο σε μοριακές μετρήσεις και μετρήσεις υλικών, δεδομένα του ηλιακού μαγνητικού πεδίου και συνηθισμένες φωτογραφίες. Το νευρωνικό δίκτυο μπόρεσε να προσαρμοστεί σε διαφορετικούς τύπους δεδομένων και να μάθει τα χαρακτηριστικά που είχαν σημασία για τον καθένα.
Οι συγγραφείς δεν παρουσιάζουν το WIEN-INR ως καθολική αντικατάσταση των υπαρχουσών μεθόδων συμπίεσης ή μείωσης δεδομένων. Αντίθετα, μπορεί να λειτουργεί παράλληλα με αυτές ως μια πρόσθετη επιλογή σε περιπτώσεις όπου η μετέπειτα ανάκτηση δομής λεπτής κλίμακας είναι ιδιαίτερα σημαντική.
Στη μελέτη συνέβαλαν επίσης ερευνητές από το Πανεπιστήμιο της Καλιφόρνιας, Davis και το Πανεπιστήμιο Carnegie Mellon. Η ομάδα εκπαίδευσε τα νευρωνικά της δίκτυα χρησιμοποιώντας τον υπερυπολογιστή Perlmutter στην εγκατάσταση NERSC του Υπουργείου Ενέργειας των ΗΠΑ. Η εργασία, «Multi-resolution enhancement for full-spectrum neural representations», δημοσιεύθηκε στο Nature Machine Intelligence στις 24 Αυγούστου 2026.
Η ερευνητική υποδομή της Ευρώπης αντιμετωπίζει την ίδια πρόκληση
Οι δυνατότητες της μεθόδου εκτείνονται πολύ πέρα από οποιοδήποτε μεμονωμένο όργανο στο SLAC. Η ευρωπαϊκή υποδομή για τη φυσική σωματιδίων, την επιστήμη του σύγχροτρον, την αστρονομία, την κλιματική έρευνα και τη δορυφορική παρατήρηση παράγει επίσης ταχέως αυξανόμενους όγκους δεδομένων.
Αυτό που έχει σημασία εδώ είναι η αρχή και όχι ένας συγκεκριμένος αλγόριθμος. Όταν ένα όργανο παράγει περισσότερη πληροφορία από όση είναι πρακτικό να αποθηκευτεί και να μετακινηθεί πλήρως, η αλυσίδα επεξεργασίας δεδομένων πρέπει να αποφασίζει ολοένα νωρίτερα ποια πληροφορία θα διατηρεί και σε ποιο επίπεδο πιστότητας.
Επομένως, ο ρόλος της AI στην επιστήμη δεν περιορίζεται πλέον στην εύρεση προτύπων μετά την πραγματοποίηση ενός πειράματος. Το επόμενο σημαντικό βήμα μπορεί να είναι η αναπαράσταση επιστημονικών δεδομένων σε μια μορφή που μειώνει δραματικά τις απαιτήσεις αποθήκευσης και υπολογιστικής ισχύος, διατηρώντας παράλληλα τις λεπτές δομές που θα μπορούσαν να αποδειχθούν σημαντικές για την επόμενη ανακάλυψη.
