Hexo Labs avasi SIA:n lähdekoodin: tekoälyagentti opettaa itseään
Hexo Labs esitteli avoimen lähdekoodin tekoälyagenttikehyksen nimeltä SIA, eli Self Improving Agent. Se ei vain hio kehotteita ja työnkulkuja. Sen keskeinen väite on kunnianhimoisempi: agentti analysoi omia yrityksiään, muuttaa työskentelytapojaan ja käynnistää tarvittaessa sisäisen mallin hienosäädön, jotta seuraava kierros sujuisi paremmin.
Itseään parantava agentti ei enää tarkoita vain parempaa kehotetta.
Tekoälyagenttien kehitys on tähän asti edennyt pääosin kahta reittiä. Ensimmäisessä kehittäjä tai meta-agentti parantaa järjestelmää ulkopuolelta: kehotteita, työkalujen valintaa, uudelleenyritysten logiikkaa ja hakustrategiaa. Toisessa tiimi hienosäätää itse mallia tehtävistä saadun palautteen perusteella. SIA yhdistää nämä kaksi tapaa samaan silmukkaan.
Keskeinen käsite on sisäinen mallin hienosäätö. Se tarkoittaa neuroverkon parametrien muuttamista koulutuksen aikana. Yksinkertaisemmin sanottuna agentti ei saa vain parempia ohjeita. Malli itse oppii toistuvista virheistä ja tuloksista. Tämä erottaa SIA:n agenteista, jotka vain kirjoittavat kehotteen uudelleen tai lisäävät työnkulkuun yhden vaiheen.
Kolme agenttia pyörittää parannussilmukkaa.
Virallisen GitHub-kuvauksen mukaan SIA toimii kolmen pääkomponentin kautta. Meta Agent lukee tehtävänkuvauksen ja luo ensimmäisen kohdeagentin. Task Specific Agent ratkaisee tehtävän ja kirjaa toimintansa sekä tuloksensa. Feedback Agent käy lokit läpi, tunnistaa heikkoudet ja päättää, parannetaanko agenttirakennetta vai käynnistetäänkö sisäinen mallin hienosäätö.
Ero on teknisesti olennainen. Agenttirakenne ohjaa sitä, miten järjestelmä etsii ratkaisua, käyttää työkaluja ja tarkistaa tuloksia. Sisäisen mallin hienosäädön pitäisi lisätä alakohtaista arviointikykyä, jota mikään kehote ei voi yksinkertaisesti kirjoittaa malliin. arXiv-artikkelissa SIA:n tekijät sanovat, että molempien keinojen käyttäminen yhdessä päihitti pelkkään rakenteen parantamiseen perustuvan kehityksen kaikilla kolmella testatulla alueella.
Tulokset näyttävät vahvoilta, mutta ne vaativat maltillista mittaamista.
SIA:n teknisessä artikkelissa kehystä arvioitiin kolmella hyvin erilaisella tehtävällä: syyteluokittelulla kiinalaisista oikeusteksteistä, matalan tason GPU-ytimen optimoinnilla ja yksisoluisen RNA-datan kohinanpoistolla. Valinta antaa järjestelmälle laajemman testin kuin tavanomainen chatbot-vertailu, koska tehtävät vaativat erilaista tarkkuutta, kokeilua ja mitattavaa lopputulosta.
Paperilla tulokset ovat selkeitä. Tekijöiden mukaan SIA yhdisti rakenteen parantamisen sisäiseen mallin hienosäätöön ja päihitti aiemman huipputason LawBenchissä 25,1 prosentilla. GPU-ydin toimi 12,4 prosenttia nopeammin kuin aiempi huipputaso, ja RNA-datan kohinanpoisto parani 20,4 prosenttia. GitHub-repositorio listaa myös LawBenchissä 70,1 prosentin Top 1 -tarkkuuden, TriMul-ytimelle 14-kertaisen nopeutuksen lähtötasoon verrattuna sekä MSE_norm-tuloksen 0,289 yksisoluisen RNA-sekvensoinnin tehtävässä.
Väite 350-kertaisesta nopeutuksesta on tiedotelinjaus, ei riippumaton arvio.
Hexo Labs sanoo tiedotteessaan, että SIA nopeuttaa tietä kohti superälykkyyttä 350-kertaisesti. Väitteeseen on syytä suhtautua varoen. Yhtiö kytkee sen OpenAI:n MLE benchiin, mutta se ei ole sama asia kuin riippumaton näyttö siitä, että SIA todella vie tekoälyä kohti superälykkyyttä. Julkinen aineisto osoittaa tällä hetkellä maanläheisemmän asian: SIA tarjoaa vahvan kokeellisen kehyksen mitattaviin kehitystehtäviin.
OpenAI kuvaa MLE benchiä vertailutestiksi, jolla selvitetään, pystyvätkö tekoälyagentit tekemään koneoppimisen suunnittelutyötä: kouluttamaan malleja, valmistelemaan dataa ja ajamaan kokeita. Se sisältää 75 Kaggle-koneoppimiskilpailua ja antaa agenteille huomattavasti käytännöllisemmän tavoitteen kuin tavalliset kysymys-vastausvertailut.
Euroopasta katsottuna läpinäkyvyys on tärkein osa.
Eurooppalaisille kehittäjille ja tutkimuslaitoksille SIA:n suurin arvo on avoimuudessa. GitHub-repositorio kertoo, että kehys käyttää MIT-lisenssiä, on kirjoitettu Pythonilla ja toimii mukautetuissa tehtävissä, joissa julkiset syötteet, piilotettu arviointidata ja arvioija määritellään erikseen. Tämä auttaa tutkijoita toistamaan kokeita ja tarkistamaan, mitä agentti tosiasiassa muuttaa.
Samalla sisäinen mallin hienosäätö lisää vastuuta. Kun agentti voi muuttaa käyttäytymistään syvemmin, arviointikehyksen täytyy havaita myös se, paraneeko järjestelmä yleisesti vai oppiiko se vain hyödyntämään yhtä tiettyä mittaria. Siksi SIA sopii tällä hetkellä parhaiten tieteellisiin ja teknisiin tehtäviin, joissa on selkeät mittarit, ei autonomiseen päätöksentekoon avoimilla tavoitteilla.
Tekninen yhteenveto.
SIA yhdistää agenttirakenteen parantamisen ja sisäisen mallin hienosäädön samaan itseparannussilmukkaan.
Järjestelmä käyttää Meta Agentia, Task Specific Agentia ja Feedback Agentia.
Testit kattoivat oikeustekstit, GPU-ytimen optimoinnin ja yksisoluisen RNA-datan kohinanpoiston.
GitHub-repositorion mukaan SIA on avointa lähdekoodia, MIT-lisensoitu ja rakennettu Python 3.11+:lle.
Suuri 350-kertainen väite tulee Hexo Labsin tiedotteesta, ei riippumattomasta auditoinnista.
SIA ei välttämättä ole oikotie superälykkyyteen. Se tarjoaa jotain käytännöllisempää ja toistaiseksi hyödyllisempää: tavan saada tekoälyagentit näyttämään työnsä, oppimaan siitä ja kohtaamaan seuraavan testin muullakin kuin paremmalla kannustuspuheella.
