Hexo Labs ouvre le code de SIA, un agent d’IA capable de s’améliorer lui-même

Un agent qui s’améliore lui-même ne se résume plus à un meilleur prompt.

Jusqu’ici, le développement des agents d’IA a suivi deux grandes voies. Dans la première, un développeur ou un méta-agent améliore le système de l’extérieur : prompts, choix des outils, logique de relance et stratégie de recherche. Dans la seconde, une équipe affine le modèle lui-même à partir des retours issus des tâches. SIA réunit ces deux approches dans une même boucle.

Le terme clé, ici, est l’affinage interne du modèle. Il désigne la modification des paramètres du réseau neuronal pendant l’entraînement. Plus simplement, l’agent ne reçoit pas seulement de meilleures instructions. Le modèle lui-même apprend à partir des erreurs répétées et des résultats obtenus. C’est ce qui distingue SIA des agents qui se bornent à réécrire un prompt ou à ajouter une étape au flux de travail.

Trois agents pilotent la boucle d’amélioration.

Selon la description officielle publiée sur GitHub, SIA fonctionne autour de trois composants principaux. Le Meta Agent lit la description de la tâche et crée le premier agent cible. Le Task Specific Agent résout la tâche, puis consigne ses actions et ses résultats. Le Feedback Agent examine les journaux, identifie les faiblesses et décide s’il faut améliorer l’architecture de l’agent ou déclencher un affinage interne du modèle.

Cette distinction compte sur le plan technique. L’architecture de l’agent détermine la manière dont le système cherche une solution, utilise des outils et vérifie les résultats. L’affinage interne du modèle doit, lui, apporter un jugement propre au domaine qu’aucun prompt ne peut simplement inscrire dans le modèle. Dans l’article publié sur arXiv, les auteurs de SIA indiquent que l’usage conjoint de ces deux leviers a dépassé l’amélioration limitée à l’architecture dans les trois domaines testés.

Les résultats paraissent solides, mais demandent une mesure prudente.

L’article technique consacré à SIA a évalué le framework sur trois tâches très différentes : la qualification d’accusations à partir de textes juridiques chinois, l’optimisation de bas niveau de noyaux GPU et le débruitage de données d’ARN unicellulaire. Ce choix offre au système un test plus large qu’un benchmark classique de chatbot, car ces tâches exigent différentes formes de précision, d’expérimentation et de résultats mesurables.

Sur le papier, les résultats sont nets. Selon les auteurs, SIA a combiné amélioration de l’architecture et affinage interne du modèle pour dépasser l’état de l’art précédent de 25,1 % sur LawBench. Le noyau GPU a fonctionné 12,4 % plus vite que l’état de l’art précédent, tandis que le débruitage des données d’ARN a progressé de 20,4 %. Le dépôt GitHub mentionne également une précision Top 1 de 70,1 % sur LawBench, une accélération par 14 du noyau TriMul par rapport à la référence et un score MSE_norm de 0,289 dans la tâche de séquençage d’ARN unicellulaire.

L’affirmation des « 350 fois » relève du communiqué, pas d’un verdict indépendant.

Hexo Labs affirme dans son communiqué de presse que SIA accélère par 350 la trajectoire vers la superintelligence. Cette formule appelle à la prudence. L’entreprise rattache cette affirmation au benchmark MLE d’OpenAI, mais cela ne constitue pas une preuve indépendante que SIA rapproche effectivement l’IA de la superintelligence. Les éléments publics montrent pour l’instant quelque chose de plus concret : SIA propose un framework expérimental solide pour des tâches de développement mesurables.

OpenAI décrit MLE bench comme un benchmark destiné à tester la capacité d’agents d’IA à réaliser des travaux d’ingénierie en apprentissage automatique : entraîner des modèles, préparer des données et mener des expériences. Il regroupe 75 compétitions Kaggle de machine learning et donne aux agents un objectif beaucoup plus pratique que les benchmarks ordinaires de questions-réponses.

Vu d’Europe, la transparence est l’élément le plus important.

Pour les développeurs et les institutions de recherche européens, la principale valeur de SIA tient à son ouverture. Le dépôt GitHub indique que le framework utilise une licence MIT, qu’il est écrit en Python et qu’il peut être employé avec des tâches personnalisées dans lesquelles les entrées publiques, les données d’évaluation cachées et l’évaluateur sont définis séparément. Cela aide les chercheurs à répéter les expériences et à vérifier ce que l’agent modifie réellement.

Dans le même temps, l’affinage interne du modèle impose une responsabilité accrue. Lorsqu’un agent peut modifier son comportement plus en profondeur, le cadre d’évaluation doit aussi permettre de déterminer si le système progresse réellement de manière générale ou s’il apprend seulement à exploiter une métrique particulière. Pour cette raison, SIA convient aujourd’hui surtout aux tâches scientifiques et d’ingénierie dotées de mesures claires, et non à la prise de décision autonome avec des objectifs ouverts.

Fiche technique.

SIA combine l’amélioration de l’architecture d’agent et l’affinage interne du modèle dans une même boucle d’auto-amélioration.

Le système utilise un Meta Agent, un Task Specific Agent et un Feedback Agent.

Les tests ont porté sur des textes juridiques, l’optimisation de noyaux GPU et le débruitage de données d’ARN unicellulaire.

Selon le dépôt GitHub, SIA est open source, sous licence MIT et conçu pour Python 3.11+.

La forte affirmation des « 350 fois » vient du communiqué de presse de Hexo Labs, et non d’un audit indépendant.

SIA n’est peut-être pas un raccourci vers la superintelligence. Ce qu’il propose est plus concret et, pour l’instant, plus utile : un moyen d’obliger les agents d’IA à montrer leur travail, à en tirer des leçons et à aborder le test suivant avec autre chose qu’un simple discours d’encouragement amélioré.