Hexo Labs öffnet SIA-Quellcode: KI-Agent soll sich selbst weiterentwickeln
Hexo Labs hat mit SIA, kurz für Self Improving Agent, ein Open-Source-Framework für KI-Agenten vorgestellt. Es verbessert nicht nur Prompts und Arbeitsabläufe. Der zentrale Anspruch reicht weiter: Der Agent analysiert eigene Versuche, verändert seine Arbeitsweise und startet bei Bedarf internes Modell-Feintuning, um den nächsten Durchlauf besser zu bewältigen.
Ein selbstverbessernder Agent bedeutet nicht mehr nur einen besseren Prompt.
Die Entwicklung von KI-Agenten folgte bislang vor allem zwei Wegen. Entweder verbessert ein Entwickler oder ein Meta-Agent das System von außen, etwa Prompts, Werkzeugauswahl, Wiederholungslogik und Suchstrategie. Oder ein Team feintunt das Modell selbst anhand von Aufgabenfeedback. SIA führt beide Ansätze in einer Schleife zusammen.
Der zentrale Begriff ist internes Modell-Feintuning. Gemeint ist die Veränderung der Parameter des neuronalen Netzes während des Trainings. Einfacher gesagt: Der Agent bekommt nicht nur bessere Anweisungen. Das Modell selbst lernt aus wiederholten Fehlern und Ergebnissen. Genau das unterscheidet SIA von Agenten, die lediglich einen Prompt umformulieren oder dem Arbeitsablauf einen weiteren Schritt hinzufügen.
Drei Agenten treiben die Verbesserungsschleife an.
Laut offizieller Beschreibung auf GitHub arbeitet SIA mit drei Hauptkomponenten. Der Meta Agent liest die Aufgabenbeschreibung und erstellt den ersten Zielagenten. Der Task Specific Agent löst die Aufgabe und protokolliert seine Aktionen sowie Ergebnisse. Der Feedback Agent prüft die Protokolle, erkennt Schwächen und entscheidet, ob das Agentengerüst verbessert oder internes Modell-Feintuning ausgelöst werden soll.
Diese Unterscheidung ist technisch wichtig. Das Agentengerüst bestimmt, wie das System nach einer Lösung sucht, Werkzeuge nutzt und Ergebnisse prüft. Internes Modell-Feintuning soll fachliche Urteilsfähigkeit ergänzen, die sich nicht einfach per Prompt in ein Modell hineinschreiben lässt. Im arXiv-Paper schreiben die Autoren von SIA, dass der kombinierte Einsatz beider Stellhebel in allen drei getesteten Domänen besser abschnitt als eine reine Verbesserung des Gerüsts.
Die Ergebnisse wirken stark, verlangen aber nüchterne Einordnung.
Das technische Paper zu SIA bewertet das Framework anhand von drei sehr unterschiedlichen Aufgaben: Anklageklassifizierung aus chinesischen Rechtstexten, Optimierung von Low-Level-GPU-Kernels und Entrauschen von Einzelzell-RNA-Daten. Diese Auswahl prüft das System breiter als ein klassischer Chatbot-Benchmark, weil die Aufgaben unterschiedliche Arten von Präzision, Experimenten und messbaren Ergebnissen erfordern.
Auf dem Papier fallen die Resultate deutlich aus. Nach Angaben der Autoren kombinierte SIA Gerüstverbesserung mit internem Modell-Feintuning und übertraf den bisherigen Stand der Technik auf LawBench um 25,1 Prozent. Der GPU-Kernel lief 12,4 Prozent schneller als der bisherige Stand der Technik, während sich das Entrauschen der RNA-Daten um 20,4 Prozent verbesserte. Das GitHub-Repository nennt außerdem 70,1 Prozent Top-1-Genauigkeit auf LawBench, eine 14-fache Beschleunigung des TriMul-Kernels gegenüber der Basislinie und einen MSE_norm-Wert von 0,289 in der Aufgabe zur Einzelzell-RNA-Sequenzierung.
Die Aussage von „350-mal“ ist eine Pressebotschaft, kein unabhängiges Urteil.
Hexo Labs erklärt in seiner Pressemitteilung, SIA beschleunige den Weg zur Superintelligenz um das 350-Fache. Diese Aussage ist mit Vorsicht zu behandeln. Das Unternehmen verknüpft sie mit OpenAIs MLE-bench, doch das ist kein unabhängiger Nachweis dafür, dass SIA KI tatsächlich in Richtung Superintelligenz führt. Das öffentlich verfügbare Material zeigt derzeit etwas Bodenständigeres: SIA bietet ein starkes experimentelles Framework für messbare Entwicklungsaufgaben.
OpenAI beschreibt MLE-bench als Benchmark, der testet, ob KI-Agenten Aufgaben des Machine-Learning-Engineerings erledigen können: Modelle trainieren, Daten vorbereiten und Experimente durchführen. Er umfasst 75 Kaggle-Wettbewerbe im maschinellen Lernen und gibt Agenten damit ein deutlich praktischeres Ziel als gewöhnliche Frage-Antwort-Benchmarks.
Aus europäischer Sicht ist Transparenz der wichtigste Punkt.
Für europäische Entwickler und Forschungseinrichtungen liegt der zentrale Wert von SIA in der Offenheit. Das GitHub-Repository zeigt, dass das Framework unter MIT-Lizenz steht, in Python geschrieben ist und mit individuellen Aufgaben genutzt werden kann, bei denen öffentliche Eingaben, versteckte Evaluierungsdaten und der Evaluator getrennt definiert werden. Das hilft Forschern, Experimente zu wiederholen und zu prüfen, was der Agent tatsächlich verändert.
Gleichzeitig bringt internes Modell-Feintuning mehr Verantwortung mit sich. Wenn ein Agent sein Verhalten tiefgreifender verändern kann, muss das Evaluierungsverfahren auch erkennen, ob das System allgemein besser wird oder nur lernt, eine bestimmte Kennzahl auszunutzen. Deshalb passt SIA derzeit am besten zu wissenschaftlichen und technischen Aufgaben mit klaren Messgrößen, nicht zu autonomen Entscheidungen mit offenen Zielen.
Technischer Überblick.
SIA kombiniert die Verbesserung des Agentengerüsts und internes Modell-Feintuning in einer Selbstverbesserungsschleife.
Das System nutzt einen Meta Agent, einen Task Specific Agent und einen Feedback Agent.
Die Tests umfassten Rechtstexte, GPU-Kernel-Optimierung und das Entrauschen von Einzelzell-RNA-Daten.
Laut GitHub-Repository ist SIA Open Source, steht unter MIT-Lizenz und ist für Python 3.11+ ausgelegt.
Die große „350-mal“-Aussage stammt aus der Pressemitteilung von Hexo Labs, nicht aus einer unabhängigen Prüfung.
SIA ist womöglich keine Abkürzung zur Superintelligenz. Was das Framework bietet, ist praktischer und derzeit nützlicher: eine Möglichkeit, KI-Agenten ihre Arbeit offenlegen zu lassen, daraus zu lernen und den nächsten Test mit mehr als nur einer besseren Ansprache anzugehen.
