Hexo Labs publică sursa SIA, un agent AI care continuă să se instruiască singur

Un agent cu autoîmbunătățire nu mai înseamnă doar un prompt mai bun

Dezvoltarea agenților AI a urmat până acum două direcții principale. În prima, un dezvoltator sau un meta-agent îmbunătățește sistemul din exterior: prompturi, alegerea instrumentelor, logica de reîncercare și strategia de căutare. În a doua, o echipă reglează fin modelul folosind feedback din sarcini. SIA combină aceste două abordări într-o singură buclă.

Termenul-cheie aici, reglare fină internă a modelului, înseamnă modificarea parametrilor rețelei neuronale în timpul antrenării. Mai simplu spus, agentul nu primește doar instrucțiuni mai bune. Modelul însuși învață din greșeli și rezultate repetate. Asta separă SIA de agenții care doar rescriu un prompt sau adaugă încă un pas în fluxul de lucru.

Trei agenți susțin bucla de îmbunătățire

Potrivit descrierii oficiale de pe GitHub, SIA funcționează prin trei componente principale. Meta Agent citește descrierea sarcinii și creează primul agent-țintă. Task Specific Agent rezolvă sarcina și înregistrează acțiunile și rezultatele. Feedback Agent analizează jurnalele, identifică punctele slabe și decide dacă îmbunătățește scheletul agentului sau declanșează reglarea fină internă a modelului.

Această diferență contează din punct de vedere tehnic. Scheletul agentului modelează felul în care sistemul caută o soluție, folosește instrumente și verifică rezultatele. Reglarea fină internă a modelului ar trebui să adauge judecată de domeniu, ceva ce un prompt nu poate pur și simplu să scrie în model. În lucrarea de pe arXiv, autorii SIA spun că folosirea ambelor pârghii împreună a depășit îmbunătățirea bazată doar pe schelet în toate cele trei domenii testate.

Rezultatele par puternice, dar trebuie măsurate cu prudență

Lucrarea tehnică despre SIA a evaluat frameworkul pe trei sarcini foarte diferite: clasificarea acuzațiilor din texte juridice chineze, optimizarea de nivel jos a kernelurilor GPU și eliminarea zgomotului din date RNA unicelulare. Această selecție oferă sistemului un test mai larg decât un benchmark standard pentru chatboturi, deoarece sarcinile cer tipuri diferite de precizie, experimentare și rezultate măsurabile.

Pe hârtie, rezultatele sunt clare. Potrivit autorilor, SIA a combinat îmbunătățirea scheletului cu reglarea fină internă a modelului și a depășit precedentul nivel de vârf cu 25,1% pe LawBench. Kernelul GPU a rulat cu 12,4% mai rapid decât precedentul nivel de vârf, iar eliminarea zgomotului din datele RNA s-a îmbunătățit cu 20,4%. Depozitul GitHub menționează și o acuratețe Top 1 de 70,1% pe LawBench, o accelerare de 14 ori pentru kernelul TriMul față de baza de referință și un scor MSE_norm de 0,289 în sarcina de secvențiere RNA unicelulară.

Afirmația „350 de ori” este o linie de comunicare, nu un verdict independent

Hexo Labs spune în comunicatul de presă că SIA accelerează de 350 de ori drumul spre superinteligență. Afirmația trebuie tratată cu prudență. Compania o leagă de MLE bench de la OpenAI, dar acest lucru nu echivalează cu o dovadă independentă că SIA chiar împinge AI spre superinteligență. Materialele publice arată în prezent ceva mai concret: SIA oferă un framework experimental solid pentru sarcini de dezvoltare măsurabile.

OpenAI descrie MLE bench ca un benchmark pentru testarea capacității agenților AI de a realiza muncă de inginerie în învățare automată: antrenarea modelelor, pregătirea datelor și rularea experimentelor. Acesta include 75 de competiții Kaggle de machine learning și oferă agenților o țintă mult mai practică decât benchmarkurile obișnuite de întrebări și răspunsuri.

Din Europa, transparența este partea cea mai importantă

Pentru dezvoltatorii europeni și instituțiile de cercetare, principala valoare a SIA stă în deschidere. Depozitul GitHub arată că frameworkul folosește o licență MIT, este scris în Python și poate fi utilizat cu sarcini personalizate în care intrările publice, datele ascunse de evaluare și evaluatorul sunt definite separat. Acest lucru îi ajută pe cercetători să repete experimentele și să verifice ce modifică efectiv agentul.

În același timp, reglarea fină internă a modelului aduce o responsabilitate mai mare. Când un agent își poate modifica mai profund comportamentul, frameworkul de evaluare trebuie să surprindă și dacă sistemul devine mai bun în general sau doar învață să exploateze o anumită metrică. Din acest motiv, SIA se potrivește deocamdată cel mai bine sarcinilor științifice și de inginerie cu măsuri clare, nu deciziilor autonome cu obiective deschise.

Tablou tehnic

SIA combină îmbunătățirea scheletului agentului și reglarea fină internă a modelului într-o singură buclă de autoîmbunătățire.

Sistemul folosește un Meta Agent, un Task Specific Agent și un Feedback Agent.

Testele au acoperit texte juridice, optimizarea kernelurilor GPU și eliminarea zgomotului din date RNA unicelulare.

Potrivit depozitului GitHub, SIA este open source, are licență MIT și este construit pentru Python 3.11+.

Afirmația amplă privind accelerarea de „350 de ori” vine din comunicatul de presă Hexo Labs, nu dintr-un audit independent.

SIA poate să nu fie o scurtătură către superinteligență. Ce oferă este mai practic și, deocamdată, mai util: o modalitate prin care agenții AI își pot arăta munca, pot învăța din ea și pot aborda următorul test cu mai mult decât un simplu discurs motivațional îmbunătățit.