Nuevo método de IA reduce conjuntos de datos científicos hasta 100 veces
Investigadores del Laboratorio Nacional del Acelerador SLAC han desarrollado un método de compresión basado en redes neuronales que redujo los volúmenes de datos científicos por factores de 10 a 100 en pruebas, según los datos de entrada y el nivel de precisión requerido. La idea clave no es comprimir cada parte de los datos por igual, sino preservar estructuras en diferentes escalas espaciales que podrían resultar críticas para el análisis científico. El estudio se publicó en Nature Machine Intelligence.
Los instrumentos científicos producen más datos de los que la infraestructura puede absorber
La motivación detrás del nuevo método surge de un problema muy práctico de la ciencia experimental moderna. La resolución de los sensores y las tasas de medición están aumentando tan rápidamente que los instrumentos de próxima generación empiezan a generar flujos de datos cuyo almacenamiento íntegro, transferencia y procesamiento posterior resultan cada vez más costosos.
La compresión con pérdida convencional puede reducir el tamaño de los archivos, pero también puede eliminar señales de baja amplitud o estructuras finas. En una fotografía corriente, esa pérdida puede no importar. Sin embargo, en una medición científica, un detalle diminuto puede contener precisamente la información física que buscan los investigadores.
SLAC señala como ejemplo las pequeñas motas que aparecen en las mediciones de rayos X. Estas estructuras pueden revelar ordenamiento interno, defectos o dinámicas dentro de un material. Si un algoritmo de compresión las trata como ruido, puede reducir no solo el tamaño del archivo, sino también el valor científico de la medición.
El análisis de wavelets separa la información por escala
El método publicado en Nature Machine Intelligence se llama WIEN-INR. Combina el análisis de wavelets con representaciones neuronales implícitas.
En primer lugar, el análisis de wavelets separa el conjunto de datos en componentes a diferentes escalas espaciales, distinguiendo las estructuras de gran escala de los detalles finos. A continuación, una red neuronal aprende a representar de forma compacta la información en esas diferentes escalas.
Esta arquitectura ayuda a evitar un problema habitual de la compresión de propósito general, en la que una estructura amplia de fondo y una característica diminuta pero científicamente importante pueden tratarse de manera muy similar.
Según el investigador de SLAC Yuan Ni, el método redujo normalmente el tamaño de los archivos por factores de 10 a 100, según los datos de origen y la calidad deseada. Sin embargo, ese resultado no debe interpretarse como compresión totalmente sin pérdida. Se trata de un compromiso controlado entre el volumen de datos y la fidelidad de la señal, diseñado para preservar mejor que un enfoque de compresión genérico las características finas importantes para el análisis.
Esta es una descripción más precisa que afirmar que el sistema «no pierde ningún dato en absoluto».
El sistema puede decodificar solo la región que se necesita
Una segunda gran ventaja del método aparece cuando los datos se utilizan posteriormente. Si un investigador necesita solo una pequeña región de un gran conjunto de datos comprimido, no es necesario reconstruir todo el archivo.
WIEN-INR puede decodificar únicamente una región de interés seleccionada y hacerlo a diferentes escalas y resoluciones. SLAC señala que descomprimir un archivo grande completo con un códec convencional puede llevar minutos, horas o incluso días. La decodificación selectiva evita gran parte de ese trabajo.
En grandes entornos de computación científica, esta capacidad puede ser tan importante como la propia relación de compresión. El problema no es simplemente el coste del almacenamiento. Mover datos entre sistemas de almacenamiento, nodos de cómputo e instituciones de investigación consume capacidad de red, energía y tiempo.
El método funcionó con tipos de datos muy diferentes
Los investigadores no limitaron sus pruebas a un único tipo de conjunto de datos de rayos X. Aplicaron el método a mediciones moleculares y de materiales, datos del campo magnético solar y fotografías convencionales. La red neuronal pudo adaptarse a diferentes tipos de datos y aprender las características importantes para cada uno.
Los autores no presentan WIEN-INR como un sustituto universal de los métodos existentes de compresión o reducción de datos. En cambio, puede funcionar junto a ellos como una opción adicional en casos en los que recuperar posteriormente estructuras de escala fina sea especialmente importante.
Investigadores de la Universidad de California, Davis, y de la Universidad Carnegie Mellon también contribuyeron al estudio. El equipo entrenó sus redes neuronales utilizando el superordenador Perlmutter en la instalación NERSC del Departamento de Energía de Estados Unidos. El artículo, «Multi-resolution enhancement for full-spectrum neural representations», se publicó en Nature Machine Intelligence el 24 de agosto de 2026.
La infraestructura de investigación europea afronta el mismo desafío
El potencial del método se extiende mucho más allá de un único instrumento de SLAC. La infraestructura europea para la física de partículas, la ciencia de sincrotrones, la astronomía, la investigación climática y la observación por satélite también está generando volúmenes de datos que crecen rápidamente.
Lo que importa aquí es el principio, más que un algoritmo específico. Cuando un instrumento produce más información de la que resulta práctico almacenar y trasladar íntegramente, la cadena de datos debe decidir cada vez antes qué información preservar y con qué nivel de fidelidad.
Por tanto, el papel de la IA en la ciencia ya no se limita a encontrar patrones después de que se haya realizado un experimento. El siguiente paso importante podría ser representar los datos científicos en una forma que reduzca drásticamente las necesidades de almacenamiento y computación, al tiempo que preserva las estructuras finas que podrían resultar relevantes para el próximo descubrimiento.
Los instrumentos científicos producen más datos de los que la infraestructura puede absorber
La motivación detrás del nuevo método surge de un problema muy práctico de la ciencia experimental moderna. La resolución de los sensores y las tasas de medición están aumentando tan rápidamente que los instrumentos de próxima generación empiezan a generar flujos de datos cuyo almacenamiento íntegro, transferencia y procesamiento posterior resultan cada vez más costosos.
La compresión con pérdida convencional puede reducir el tamaño de los archivos, pero también puede eliminar señales de baja amplitud o estructuras finas. En una fotografía corriente, esa pérdida puede no importar. Sin embargo, en una medición científica, un detalle diminuto puede contener precisamente la información física que buscan los investigadores.
SLAC señala como ejemplo las pequeñas motas que aparecen en las mediciones de rayos X. Estas estructuras pueden revelar ordenamiento interno, defectos o dinámicas dentro de un material. Si un algoritmo de compresión las trata como ruido, puede reducir no solo el tamaño del archivo, sino también el valor científico de la medición.
El análisis de wavelets separa la información por escala
El método publicado en Nature Machine Intelligence se llama WIEN-INR. Combina el análisis de wavelets con representaciones neuronales implícitas.
En primer lugar, el análisis de wavelets separa el conjunto de datos en componentes a diferentes escalas espaciales, distinguiendo las estructuras de gran escala de los detalles finos. A continuación, una red neuronal aprende a representar de forma compacta la información en esas diferentes escalas.
Esta arquitectura ayuda a evitar un problema habitual de la compresión de propósito general, en la que una estructura amplia de fondo y una característica diminuta pero científicamente importante pueden tratarse de manera muy similar.
Según el investigador de SLAC Yuan Ni, el método redujo normalmente el tamaño de los archivos por factores de 10 a 100, según los datos de origen y la calidad deseada. Sin embargo, ese resultado no debe interpretarse como compresión totalmente sin pérdida. Se trata de un compromiso controlado entre el volumen de datos y la fidelidad de la señal, diseñado para preservar mejor que un enfoque de compresión genérico las características finas importantes para el análisis.
Esta es una descripción más precisa que afirmar que el sistema «no pierde ningún dato en absoluto».
El sistema puede decodificar solo la región que se necesita
Una segunda gran ventaja del método aparece cuando los datos se utilizan posteriormente. Si un investigador necesita solo una pequeña región de un gran conjunto de datos comprimido, no es necesario reconstruir todo el archivo.
WIEN-INR puede decodificar únicamente una región de interés seleccionada y hacerlo a diferentes escalas y resoluciones. SLAC señala que descomprimir un archivo grande completo con un códec convencional puede llevar minutos, horas o incluso días. La decodificación selectiva evita gran parte de ese trabajo.
En grandes entornos de computación científica, esta capacidad puede ser tan importante como la propia relación de compresión. El problema no es simplemente el coste del almacenamiento. Mover datos entre sistemas de almacenamiento, nodos de cómputo e instituciones de investigación consume capacidad de red, energía y tiempo.
El método funcionó con tipos de datos muy diferentes
Los investigadores no limitaron sus pruebas a un único tipo de conjunto de datos de rayos X. Aplicaron el método a mediciones moleculares y de materiales, datos del campo magnético solar y fotografías convencionales. La red neuronal pudo adaptarse a diferentes tipos de datos y aprender las características importantes para cada uno.
Los autores no presentan WIEN-INR como un sustituto universal de los métodos existentes de compresión o reducción de datos. En cambio, puede funcionar junto a ellos como una opción adicional en casos en los que recuperar posteriormente estructuras de escala fina sea especialmente importante.
Investigadores de la Universidad de California, Davis, y de la Universidad Carnegie Mellon también contribuyeron al estudio. El equipo entrenó sus redes neuronales utilizando el superordenador Perlmutter en la instalación NERSC del Departamento de Energía de Estados Unidos. El artículo, «Multi-resolution enhancement for full-spectrum neural representations», se publicó en Nature Machine Intelligence el 24 de agosto de 2026.
La infraestructura de investigación europea afronta el mismo desafío
El potencial del método se extiende mucho más allá de un único instrumento de SLAC. La infraestructura europea para la física de partículas, la ciencia de sincrotrones, la astronomía, la investigación climática y la observación por satélite también está generando volúmenes de datos que crecen rápidamente.
Lo que importa aquí es el principio, más que un algoritmo específico. Cuando un instrumento produce más información de la que resulta práctico almacenar y trasladar íntegramente, la cadena de datos debe decidir cada vez antes qué información preservar y con qué nivel de fidelidad.
Por tanto, el papel de la IA en la ciencia ya no se limita a encontrar patrones después de que se haya realizado un experimento. El siguiente paso importante podría ser representar los datos científicos en una forma que reduzca drásticamente las necesidades de almacenamiento y computación, al tiempo que preserva las estructuras finas que podrían resultar relevantes para el próximo descubrimiento.
