Нов метод с ИИ намалява научните набори от данни до 100 пъти
Изследователи от Националната ускорителна лаборатория SLAC са разработили метод за компресиране, базиран на невронни мрежи, който в тестове е намалил обемите на научните данни от 10 до 100 пъти в зависимост от входните данни и необходимото ниво на точност. Основната идея не е всяка част от данните да се компресира еднакво, а да се запазят структурите в различни пространствени мащаби, които може да са критични за научния анализ. Изследването е публикувано в Nature Machine Intelligence.
Научните инструменти произвеждат повече данни, отколкото инфраструктурата може да поеме
Мотивацията зад новия метод идва от много практичен проблем в съвременната експериментална наука. Разделителната способност на сензорите и честотата на измерванията се увеличават толкова бързо, че инструментите от следващо поколение започват да генерират потоци от данни, чието пълно съхранение, прехвърляне и последваща обработка стават все по-скъпи.
Конвенционалното компресиране със загуби може да намали размера на файловете, но може и да премахне сигнали с ниска амплитуда или фини структури. При обикновена снимка тази загуба може да няма значение. При научно измерване обаче дребен детайл може да съдържа именно физическата информация, която изследователите търсят.
SLAC посочва като пример малките петънца, които се появяват при рентгенови измервания. Тези структури могат да разкрият вътрешна подредба, дефекти или динамика в даден материал. Ако алгоритъмът за компресиране ги третира като шум, той може да намали не само размера на файла, но и научната стойност на измерването.
Вълновият анализ разделя информацията по мащаб
Методът, публикуван в Nature Machine Intelligence, се нарича WIEN-INR. Той комбинира вълнов анализ с неявни невронни представяния.
Първо, вълновият анализ разделя набора от данни на компоненти в различни пространствени мащаби, като различава мащабните структури от фините детайли. След това невронна мрежа се обучава да представя компактно информацията в тези различни мащаби.
Тази архитектура помага да се избегне често срещан проблем при компресирането с общо предназначение, при което широка фонова структура и малък, но научно важен елемент могат да бъдат третирани почти по един и същи начин.
Според изследователя от SLAC Юан Ни методът обикновено е намалявал размера на файловете от 10 до 100 пъти в зависимост от изходните данни и желаното качество. Този резултат обаче не бива да се тълкува като напълно беззагубно компресиране. Това е контролиран компромис между обема на данните и точността на сигнала, проектиран да запазва фините характеристики, важни за анализа, по-добре от универсален подход за компресиране.
Това е по-точно описание, отколкото да се казва, че системата „изобщо не губи данни“.
Системата може да декодира само необходимата област
Втора голяма сила на метода се проявява, когато данните се използват по-късно. Ако на изследовател е нужна само малка област от голям компресиран набор от данни, не е необходимо да се реконструира целият файл.
WIEN-INR може да декодира само избрана област на интерес и да го прави в различни мащаби и разделителни способности. SLAC отбелязва, че декомпресирането на цял голям файл с конвенционален кодек може да отнеме минути, часове или дори дни. Селективното декодиране избягва голяма част от тази работа.
В големи среди за научни изчисления тази възможност може да е също толкова важна, колкото и самото съотношение на компресия. Проблемът не е само в цената на съхранението. Прехвърлянето на данни между системи за съхранение, изчислителни възли и научноизследователски институции изразходва мрежов капацитет, енергия и време.
Методът е работил с много различни типове данни
Изследователите не са ограничили тестовете си до един вид рентгенови набори от данни. Те са приложили метода към молекулни и материални измервания, данни за слънчевото магнитно поле и обикновени снимки. Невронната мрежа е успяла да се адаптира към различни типове данни и да научи характеристиките, които са важни за всеки от тях.
Авторите не представят WIEN-INR като универсален заместител на съществуващите методи за компресиране или намаляване на данни. Вместо това той може да работи заедно с тях като допълнителна възможност в случаи, при които последващото възстановяване на структурата във фин мащаб е особено важно.
В изследването са допринесли и изследователи от Калифорнийския университет в Дейвис и Университета „Карнеги Мелън“. Екипът е обучил своите невронни мрежи, използвайки суперкомпютъра Perlmutter в съоръжението NERSC на Министерството на енергетиката на САЩ. Статията „Multi-resolution enhancement for full-spectrum neural representations“ е публикувана в Nature Machine Intelligence на 24 август 2026 г.
Научноизследователската инфраструктура на Европа е изправена пред същото предизвикателство
Потенциалът на метода се простира далеч отвъд който и да е отделен инструмент в SLAC. Европейската инфраструктура за физика на частиците, синхротронна наука, астрономия, климатични изследвания и сателитно наблюдение също генерира бързо нарастващи обеми от данни.
Тук е важен принципът, а не конкретен алгоритъм. Когато даден инструмент произвежда повече информация, отколкото е практично да се съхранява и прехвърля изцяло, потокът за обработка на данни трябва все по-рано да решава коя информация да запази и с какво ниво на точност.
Следователно ролята на ИИ в науката вече не се ограничава до откриване на закономерности след провеждането на експеримент. Следващата важна стъпка може да бъде представянето на научни данни във форма, която драстично намалява изискванията за съхранение и изчислителни ресурси, като същевременно запазва фините структури, които може да се окажат важни за следващото откритие.
Научните инструменти произвеждат повече данни, отколкото инфраструктурата може да поеме
Мотивацията зад новия метод идва от много практичен проблем в съвременната експериментална наука. Разделителната способност на сензорите и честотата на измерванията се увеличават толкова бързо, че инструментите от следващо поколение започват да генерират потоци от данни, чието пълно съхранение, прехвърляне и последваща обработка стават все по-скъпи.
Конвенционалното компресиране със загуби може да намали размера на файловете, но може и да премахне сигнали с ниска амплитуда или фини структури. При обикновена снимка тази загуба може да няма значение. При научно измерване обаче дребен детайл може да съдържа именно физическата информация, която изследователите търсят.
SLAC посочва като пример малките петънца, които се появяват при рентгенови измервания. Тези структури могат да разкрият вътрешна подредба, дефекти или динамика в даден материал. Ако алгоритъмът за компресиране ги третира като шум, той може да намали не само размера на файла, но и научната стойност на измерването.
Вълновият анализ разделя информацията по мащаб
Методът, публикуван в Nature Machine Intelligence, се нарича WIEN-INR. Той комбинира вълнов анализ с неявни невронни представяния.
Първо, вълновият анализ разделя набора от данни на компоненти в различни пространствени мащаби, като различава мащабните структури от фините детайли. След това невронна мрежа се обучава да представя компактно информацията в тези различни мащаби.
Тази архитектура помага да се избегне често срещан проблем при компресирането с общо предназначение, при което широка фонова структура и малък, но научно важен елемент могат да бъдат третирани почти по един и същи начин.
Според изследователя от SLAC Юан Ни методът обикновено е намалявал размера на файловете от 10 до 100 пъти в зависимост от изходните данни и желаното качество. Този резултат обаче не бива да се тълкува като напълно беззагубно компресиране. Това е контролиран компромис между обема на данните и точността на сигнала, проектиран да запазва фините характеристики, важни за анализа, по-добре от универсален подход за компресиране.
Това е по-точно описание, отколкото да се казва, че системата „изобщо не губи данни“.
Системата може да декодира само необходимата област
Втора голяма сила на метода се проявява, когато данните се използват по-късно. Ако на изследовател е нужна само малка област от голям компресиран набор от данни, не е необходимо да се реконструира целият файл.
WIEN-INR може да декодира само избрана област на интерес и да го прави в различни мащаби и разделителни способности. SLAC отбелязва, че декомпресирането на цял голям файл с конвенционален кодек може да отнеме минути, часове или дори дни. Селективното декодиране избягва голяма част от тази работа.
В големи среди за научни изчисления тази възможност може да е също толкова важна, колкото и самото съотношение на компресия. Проблемът не е само в цената на съхранението. Прехвърлянето на данни между системи за съхранение, изчислителни възли и научноизследователски институции изразходва мрежов капацитет, енергия и време.
Методът е работил с много различни типове данни
Изследователите не са ограничили тестовете си до един вид рентгенови набори от данни. Те са приложили метода към молекулни и материални измервания, данни за слънчевото магнитно поле и обикновени снимки. Невронната мрежа е успяла да се адаптира към различни типове данни и да научи характеристиките, които са важни за всеки от тях.
Авторите не представят WIEN-INR като универсален заместител на съществуващите методи за компресиране или намаляване на данни. Вместо това той може да работи заедно с тях като допълнителна възможност в случаи, при които последващото възстановяване на структурата във фин мащаб е особено важно.
В изследването са допринесли и изследователи от Калифорнийския университет в Дейвис и Университета „Карнеги Мелън“. Екипът е обучил своите невронни мрежи, използвайки суперкомпютъра Perlmutter в съоръжението NERSC на Министерството на енергетиката на САЩ. Статията „Multi-resolution enhancement for full-spectrum neural representations“ е публикувана в Nature Machine Intelligence на 24 август 2026 г.
Научноизследователската инфраструктура на Европа е изправена пред същото предизвикателство
Потенциалът на метода се простира далеч отвъд който и да е отделен инструмент в SLAC. Европейската инфраструктура за физика на частиците, синхротронна наука, астрономия, климатични изследвания и сателитно наблюдение също генерира бързо нарастващи обеми от данни.
Тук е важен принципът, а не конкретен алгоритъм. Когато даден инструмент произвежда повече информация, отколкото е практично да се съхранява и прехвърля изцяло, потокът за обработка на данни трябва все по-рано да решава коя информация да запази и с какво ниво на точност.
Следователно ролята на ИИ в науката вече не се ограничава до откриване на закономерности след провеждането на експеримент. Следващата важна стъпка може да бъде представянето на научни данни във форма, която драстично намалява изискванията за съхранение и изчислителни ресурси, като същевременно запазва фините структури, които може да се окажат важни за следващото откритие.
