Новий метод ШІ стискає наукові набори даних до 100 разів
Дослідники з Національної прискорювальної лабораторії SLAC розробили метод стиснення на основі нейронних мереж, який у тестах зменшував обсяги наукових даних у 10–100 разів залежно від вхідних даних і необхідного рівня точності. Ключова ідея полягає не в однаковому стисненні кожної частини даних, а у збереженні структур на різних просторових масштабах, які можуть бути критично важливими для наукового аналізу. Дослідження було опубліковано в Nature Machine Intelligence.
Наукові прилади генерують більше даних, ніж може обробити інфраструктура
Поштовхом до створення нового методу стала дуже практична проблема сучасної експериментальної науки. Роздільна здатність датчиків і частота вимірювань зростають настільки швидко, що прилади наступного покоління починають генерувати потоки даних, які дедалі дорожче повністю зберігати, передавати та згодом обробляти.
Традиційне стиснення з втратами може зменшити розмір файлів, але також здатне вилучати низькоамплітудні сигнали або дрібні структури. У звичайній фотографії така втрата може не мати значення. Однак у науковому вимірюванні крихітна деталь може містити саме ту фізичну інформацію, яку шукають дослідники.
SLAC наводить як приклад дрібні плямки, що з’являються під час рентгенівських вимірювань. Ці структури можуть розкривати внутрішній порядок, дефекти або динаміку всередині матеріалу. Якщо алгоритм стиснення вважає їх шумом, він може зменшити не лише розмір файлу, а й наукову цінність вимірювання.
Вейвлет-аналіз розділяє інформацію за масштабом
Метод, опублікований у Nature Machine Intelligence, називається WIEN-INR. Він поєднує вейвлет-аналіз із неявними нейронними представленнями.
Спочатку вейвлет-аналіз розділяє набір даних на компоненти різних просторових масштабів, відокремлюючи великомасштабні структури від дрібних деталей. Потім нейронна мережа навчається компактно представляти інформацію на цих різних масштабах.
Така архітектура допомагає уникнути поширеної проблеми універсального стиснення, за якого широка фонова структура та крихітна, але науково важлива ознака можуть оброблятися майже однаково.
За словами дослідника SLAC Юаня Ні, метод зазвичай зменшував розмір файлів у 10–100 разів залежно від вихідних даних і бажаної якості. Однак цей результат не слід тлумачити як повністю безвтратне стиснення. Це контрольований компроміс між обсягом даних і точністю відтворення сигналу, розроблений для кращого збереження важливих для аналізу дрібних ознак, ніж типовий підхід до стиснення.
Це точніший опис, ніж твердження, що система «взагалі не втрачає жодних даних».
Система може декодувати лише потрібну ділянку
Друга важлива перевага методу проявляється під час подальшого використання даних. Якщо дослідникові потрібна лише невелика ділянка великого стисненого набору даних, немає потреби відновлювати весь файл.
WIEN-INR може декодувати лише вибрану область інтересу та робити це на різних масштабах і з різною роздільною здатністю. SLAC зазначає, що розпакування повного великого файлу звичайним кодеком може тривати хвилини, години або навіть дні. Вибіркове декодування дає змогу уникнути значної частини цієї роботи.
У великих середовищах наукових обчислень ця можливість може бути такою ж важливою, як і сам коефіцієнт стиснення. Проблема полягає не лише у вартості зберігання. Передавання даних між системами зберігання, обчислювальними вузлами та науковими установами споживає пропускну здатність мережі, енергію й час.
Метод спрацював із дуже різними типами даних
Дослідники не обмежили свої випробування одним типом рентгенівських наборів даних. Вони застосували метод до молекулярних вимірювань і вимірювань матеріалів, даних про магнітне поле Сонця та звичайних фотографій. Нейронна мережа змогла адаптуватися до різних типів даних і навчитися визначати важливі для кожного з них ознаки.
Автори не подають WIEN-INR як універсальну заміну наявним методам стиснення або зменшення обсягу даних. Натомість він може працювати разом із ними як додатковий варіант у випадках, коли особливо важливо згодом відновити дрібномасштабну структуру.
У дослідженні також брали участь науковці з Каліфорнійського університету в Девісі та Університету Карнегі — Меллона. Команда навчала свої нейронні мережі за допомогою суперкомп’ютера Perlmutter у центрі NERSC Міністерства енергетики США. Стаття «Multi-resolution enhancement for full-spectrum neural representations» була опублікована в Nature Machine Intelligence 24 серпня 2026 року.
Дослідницька інфраструктура Європи стикається з тією самою проблемою
Потенціал методу виходить далеко за межі будь-якого окремого приладу в SLAC. Європейська інфраструктура для фізики елементарних частинок, синхротронних досліджень, астрономії, кліматичних досліджень і супутникових спостережень також генерує швидко зростаючі обсяги даних.
Тут важливий принцип, а не якийсь один конкретний алгоритм. Коли прилад генерує більше інформації, ніж практично можливо повністю зберігати та передавати, конвеєр обробки даних має дедалі раніше вирішувати, яку інформацію зберігати й з яким рівнем точності.
Отже, роль ШІ в науці більше не обмежується пошуком закономірностей після проведення експерименту. Наступним важливим кроком може стати представлення наукових даних у формі, що суттєво зменшує потреби у сховищах і обчисленнях, водночас зберігаючи дрібні структури, які можуть виявитися важливими для наступного відкриття.
Наукові прилади генерують більше даних, ніж може обробити інфраструктура
Поштовхом до створення нового методу стала дуже практична проблема сучасної експериментальної науки. Роздільна здатність датчиків і частота вимірювань зростають настільки швидко, що прилади наступного покоління починають генерувати потоки даних, які дедалі дорожче повністю зберігати, передавати та згодом обробляти.
Традиційне стиснення з втратами може зменшити розмір файлів, але також здатне вилучати низькоамплітудні сигнали або дрібні структури. У звичайній фотографії така втрата може не мати значення. Однак у науковому вимірюванні крихітна деталь може містити саме ту фізичну інформацію, яку шукають дослідники.
SLAC наводить як приклад дрібні плямки, що з’являються під час рентгенівських вимірювань. Ці структури можуть розкривати внутрішній порядок, дефекти або динаміку всередині матеріалу. Якщо алгоритм стиснення вважає їх шумом, він може зменшити не лише розмір файлу, а й наукову цінність вимірювання.
Вейвлет-аналіз розділяє інформацію за масштабом
Метод, опублікований у Nature Machine Intelligence, називається WIEN-INR. Він поєднує вейвлет-аналіз із неявними нейронними представленнями.
Спочатку вейвлет-аналіз розділяє набір даних на компоненти різних просторових масштабів, відокремлюючи великомасштабні структури від дрібних деталей. Потім нейронна мережа навчається компактно представляти інформацію на цих різних масштабах.
Така архітектура допомагає уникнути поширеної проблеми універсального стиснення, за якого широка фонова структура та крихітна, але науково важлива ознака можуть оброблятися майже однаково.
За словами дослідника SLAC Юаня Ні, метод зазвичай зменшував розмір файлів у 10–100 разів залежно від вихідних даних і бажаної якості. Однак цей результат не слід тлумачити як повністю безвтратне стиснення. Це контрольований компроміс між обсягом даних і точністю відтворення сигналу, розроблений для кращого збереження важливих для аналізу дрібних ознак, ніж типовий підхід до стиснення.
Це точніший опис, ніж твердження, що система «взагалі не втрачає жодних даних».
Система може декодувати лише потрібну ділянку
Друга важлива перевага методу проявляється під час подальшого використання даних. Якщо дослідникові потрібна лише невелика ділянка великого стисненого набору даних, немає потреби відновлювати весь файл.
WIEN-INR може декодувати лише вибрану область інтересу та робити це на різних масштабах і з різною роздільною здатністю. SLAC зазначає, що розпакування повного великого файлу звичайним кодеком може тривати хвилини, години або навіть дні. Вибіркове декодування дає змогу уникнути значної частини цієї роботи.
У великих середовищах наукових обчислень ця можливість може бути такою ж важливою, як і сам коефіцієнт стиснення. Проблема полягає не лише у вартості зберігання. Передавання даних між системами зберігання, обчислювальними вузлами та науковими установами споживає пропускну здатність мережі, енергію й час.
Метод спрацював із дуже різними типами даних
Дослідники не обмежили свої випробування одним типом рентгенівських наборів даних. Вони застосували метод до молекулярних вимірювань і вимірювань матеріалів, даних про магнітне поле Сонця та звичайних фотографій. Нейронна мережа змогла адаптуватися до різних типів даних і навчитися визначати важливі для кожного з них ознаки.
Автори не подають WIEN-INR як універсальну заміну наявним методам стиснення або зменшення обсягу даних. Натомість він може працювати разом із ними як додатковий варіант у випадках, коли особливо важливо згодом відновити дрібномасштабну структуру.
У дослідженні також брали участь науковці з Каліфорнійського університету в Девісі та Університету Карнегі — Меллона. Команда навчала свої нейронні мережі за допомогою суперкомп’ютера Perlmutter у центрі NERSC Міністерства енергетики США. Стаття «Multi-resolution enhancement for full-spectrum neural representations» була опублікована в Nature Machine Intelligence 24 серпня 2026 року.
Дослідницька інфраструктура Європи стикається з тією самою проблемою
Потенціал методу виходить далеко за межі будь-якого окремого приладу в SLAC. Європейська інфраструктура для фізики елементарних частинок, синхротронних досліджень, астрономії, кліматичних досліджень і супутникових спостережень також генерує швидко зростаючі обсяги даних.
Тут важливий принцип, а не якийсь один конкретний алгоритм. Коли прилад генерує більше інформації, ніж практично можливо повністю зберігати та передавати, конвеєр обробки даних має дедалі раніше вирішувати, яку інформацію зберігати й з яким рівнем точності.
Отже, роль ШІ в науці більше не обмежується пошуком закономірностей після проведення експерименту. Наступним важливим кроком може стати представлення наукових даних у формі, що суттєво зменшує потреби у сховищах і обчисленнях, водночас зберігаючи дрібні структури, які можуть виявитися важливими для наступного відкриття.
