Novo método de IA reduz conjuntos de dados científicos em até 100 vezes
Investigadores do SLAC National Accelerator Laboratory desenvolveram um método de compressão baseado em redes neuronais que, em testes, reduziu os volumes de dados científicos por fatores de 10 a 100, dependendo dos dados de entrada e do nível de precisão exigido. A ideia central não é comprimir todas as partes dos dados de forma igual, mas preservar estruturas em diferentes escalas espaciais que possam revelar-se críticas para a análise científica. O estudo foi publicado na Nature Machine Intelligence.
Os instrumentos científicos estão a produzir mais dados do que as infraestruturas conseguem absorver
A motivação por trás do novo método resulta de um problema muito prático da ciência experimental moderna. A resolução dos sensores e as taxas de medição estão a aumentar tão rapidamente que os instrumentos da próxima geração começam a gerar fluxos de dados cada vez mais dispendiosos de armazenar integralmente, transferir e processar mais tarde.
A compressão convencional com perdas pode reduzir o tamanho dos ficheiros, mas também pode eliminar sinais de baixa amplitude ou estruturas finas. Numa fotografia comum, essa perda pode não importar. Numa medição científica, porém, um detalhe minúsculo pode conter exatamente a informação física que os investigadores procuram.
O SLAC aponta como exemplo os pequenos pontos que surgem em medições de raios X. Estas estruturas podem revelar ordenamento interno, defeitos ou dinâmicas num material. Se um algoritmo de compressão as tratar como ruído, pode reduzir não só o tamanho do ficheiro como também o valor científico da medição.
A análise por wavelets separa a informação por escala
O método publicado na Nature Machine Intelligence chama-se WIEN-INR. Combina análise por wavelets com representações neuronais implícitas.
Primeiro, a análise por wavelets separa o conjunto de dados em componentes em diferentes escalas espaciais, distinguindo estruturas de grande escala de detalhes finos. Uma rede neuronal aprende depois a representar de forma compacta a informação nessas diferentes escalas.
Esta arquitetura ajuda a evitar um problema comum da compressão de uso geral, em que uma estrutura ampla de fundo e uma característica minúscula, mas cientificamente importante, podem ser tratadas de forma muito semelhante.
Segundo o investigador do SLAC Yuan Ni, o método reduziu tipicamente o tamanho dos ficheiros por fatores de 10 a 100, dependendo dos dados de origem e da qualidade pretendida. No entanto, esse resultado não deve ser interpretado como compressão totalmente sem perdas. Trata-se de um compromisso controlado entre o volume de dados e a fidelidade do sinal, concebido para preservar melhor as características finas relevantes para a análise do que uma abordagem de compressão genérica.
Essa é uma descrição mais precisa do que dizer que o sistema “não perde quaisquer dados”.
O sistema pode descodificar apenas a região de que necessita
Uma segunda grande vantagem do método surge quando os dados são utilizados mais tarde. Se um investigador precisar apenas de uma pequena região de um grande conjunto de dados comprimido, não é necessário reconstruir o ficheiro inteiro.
O WIEN-INR pode descodificar apenas uma região de interesse selecionada, e fazê-lo em diferentes escalas e resoluções. O SLAC observa que descomprimir um ficheiro grande completo com um codec convencional pode demorar minutos, horas ou até dias. A descodificação seletiva evita grande parte desse trabalho.
Em grandes ambientes de computação científica, esta capacidade pode ser tão importante quanto o próprio rácio de compressão. O problema não é apenas o custo de armazenamento. Mover dados entre sistemas de armazenamento, nós de computação e instituições de investigação consome capacidade de rede, energia e tempo.
O método funcionou com tipos de dados muito diferentes
Os investigadores não limitaram os testes a um único tipo de conjunto de dados de raios X. Aplicaram o método a medições moleculares e de materiais, dados do campo magnético solar e fotografias comuns. A rede neuronal conseguiu adaptar-se a diferentes tipos de dados e aprender as características relevantes em cada caso.
Os autores não apresentam o WIEN-INR como um substituto universal dos métodos existentes de compressão ou redução de dados. Em vez disso, pode funcionar em conjunto com eles como uma opção adicional nos casos em que é particularmente importante recuperar posteriormente estruturas de escala fina.
Investigadores da University of California, Davis e da Carnegie Mellon University também contribuíram para o estudo. A equipa treinou as suas redes neuronais utilizando o supercomputador Perlmutter na instalação NERSC do US Department of Energy. O artigo, “Multi-resolution enhancement for full-spectrum neural representations”, foi publicado na Nature Machine Intelligence em 24 de agosto de 2026.
A infraestrutura de investigação europeia enfrenta o mesmo desafio
O potencial do método vai muito além de qualquer instrumento individual no SLAC. As infraestruturas europeias de física de partículas, ciência de sincrotão, astronomia, investigação climática e observação por satélite também estão a gerar volumes de dados em rápido crescimento.
O que importa aqui é o princípio, e não qualquer algoritmo específico. Quando um instrumento produz mais informação do que é prático armazenar e transportar integralmente, o fluxo de dados tem de decidir cada vez mais cedo que informação preservar e com que nível de fidelidade.
Por conseguinte, o papel da IA na ciência já não se limita a encontrar padrões depois de uma experiência ter ocorrido. O próximo passo importante poderá ser representar dados científicos numa forma que reduza drasticamente as exigências de armazenamento e computação, ao mesmo tempo que preserva as estruturas finas que poderão revelar-se importantes para a próxima descoberta.
Os instrumentos científicos estão a produzir mais dados do que as infraestruturas conseguem absorver
A motivação por trás do novo método resulta de um problema muito prático da ciência experimental moderna. A resolução dos sensores e as taxas de medição estão a aumentar tão rapidamente que os instrumentos da próxima geração começam a gerar fluxos de dados cada vez mais dispendiosos de armazenar integralmente, transferir e processar mais tarde.
A compressão convencional com perdas pode reduzir o tamanho dos ficheiros, mas também pode eliminar sinais de baixa amplitude ou estruturas finas. Numa fotografia comum, essa perda pode não importar. Numa medição científica, porém, um detalhe minúsculo pode conter exatamente a informação física que os investigadores procuram.
O SLAC aponta como exemplo os pequenos pontos que surgem em medições de raios X. Estas estruturas podem revelar ordenamento interno, defeitos ou dinâmicas num material. Se um algoritmo de compressão as tratar como ruído, pode reduzir não só o tamanho do ficheiro como também o valor científico da medição.
A análise por wavelets separa a informação por escala
O método publicado na Nature Machine Intelligence chama-se WIEN-INR. Combina análise por wavelets com representações neuronais implícitas.
Primeiro, a análise por wavelets separa o conjunto de dados em componentes em diferentes escalas espaciais, distinguindo estruturas de grande escala de detalhes finos. Uma rede neuronal aprende depois a representar de forma compacta a informação nessas diferentes escalas.
Esta arquitetura ajuda a evitar um problema comum da compressão de uso geral, em que uma estrutura ampla de fundo e uma característica minúscula, mas cientificamente importante, podem ser tratadas de forma muito semelhante.
Segundo o investigador do SLAC Yuan Ni, o método reduziu tipicamente o tamanho dos ficheiros por fatores de 10 a 100, dependendo dos dados de origem e da qualidade pretendida. No entanto, esse resultado não deve ser interpretado como compressão totalmente sem perdas. Trata-se de um compromisso controlado entre o volume de dados e a fidelidade do sinal, concebido para preservar melhor as características finas relevantes para a análise do que uma abordagem de compressão genérica.
Essa é uma descrição mais precisa do que dizer que o sistema “não perde quaisquer dados”.
O sistema pode descodificar apenas a região de que necessita
Uma segunda grande vantagem do método surge quando os dados são utilizados mais tarde. Se um investigador precisar apenas de uma pequena região de um grande conjunto de dados comprimido, não é necessário reconstruir o ficheiro inteiro.
O WIEN-INR pode descodificar apenas uma região de interesse selecionada, e fazê-lo em diferentes escalas e resoluções. O SLAC observa que descomprimir um ficheiro grande completo com um codec convencional pode demorar minutos, horas ou até dias. A descodificação seletiva evita grande parte desse trabalho.
Em grandes ambientes de computação científica, esta capacidade pode ser tão importante quanto o próprio rácio de compressão. O problema não é apenas o custo de armazenamento. Mover dados entre sistemas de armazenamento, nós de computação e instituições de investigação consome capacidade de rede, energia e tempo.
O método funcionou com tipos de dados muito diferentes
Os investigadores não limitaram os testes a um único tipo de conjunto de dados de raios X. Aplicaram o método a medições moleculares e de materiais, dados do campo magnético solar e fotografias comuns. A rede neuronal conseguiu adaptar-se a diferentes tipos de dados e aprender as características relevantes em cada caso.
Os autores não apresentam o WIEN-INR como um substituto universal dos métodos existentes de compressão ou redução de dados. Em vez disso, pode funcionar em conjunto com eles como uma opção adicional nos casos em que é particularmente importante recuperar posteriormente estruturas de escala fina.
Investigadores da University of California, Davis e da Carnegie Mellon University também contribuíram para o estudo. A equipa treinou as suas redes neuronais utilizando o supercomputador Perlmutter na instalação NERSC do US Department of Energy. O artigo, “Multi-resolution enhancement for full-spectrum neural representations”, foi publicado na Nature Machine Intelligence em 24 de agosto de 2026.
A infraestrutura de investigação europeia enfrenta o mesmo desafio
O potencial do método vai muito além de qualquer instrumento individual no SLAC. As infraestruturas europeias de física de partículas, ciência de sincrotão, astronomia, investigação climática e observação por satélite também estão a gerar volumes de dados em rápido crescimento.
O que importa aqui é o princípio, e não qualquer algoritmo específico. Quando um instrumento produz mais informação do que é prático armazenar e transportar integralmente, o fluxo de dados tem de decidir cada vez mais cedo que informação preservar e com que nível de fidelidade.
Por conseguinte, o papel da IA na ciência já não se limita a encontrar padrões depois de uma experiência ter ocorrido. O próximo passo importante poderá ser representar dados científicos numa forma que reduza drasticamente as exigências de armazenamento e computação, ao mesmo tempo que preserva as estruturas finas que poderão revelar-se importantes para a próxima descoberta.
