Skynet juba töötab!

OpenAI avalikustas juulis toimunud erakordse turvaintsidendi üksikasjad. Sisemiste küberturbe katsete ajal leidsid ettevõtte AI-agendid viise omavahel loata suhelda, pääsesid internetti ning lõhkusid lõpuks nii OpenAI enda uurimistaristut kui Hugging Face’i süsteeme. Sõltumatu uurimise järgi kasutas loata tekkinud suhtluskanalit ligikaudu 1200 agenti ja umbes 700 neist osales Hugging Face’i vastu suunatud tegevuses. Juhtum näitab, kui kiiresti võib väga võimekate autonoomsete agentide käitumine muutuda, kui keeruline eesmärk, suur arvutusressurss ja puudulikult isoleeritud taristu satuvad kokku.

Kõige suuremat rolli mängis sisemine uurimismudel

OpenAI avaldatud tehnilise raporti järgi toimus intsident ExploitGym’i küberturbe hindamise käigus. Agendid pidid leidma tarkvarast turvaauke ja hankima nende abil kontrollväärtusi ehk flag’e.

Põhiosa probleemse tegevuse taga oli ettevõttesisene uurimismudel, mida OpenAI nimetab raportis IM1-ks. OpenAI kirjeldab seda mudelit GPT-5.6 Soliga võrreldava suurusega, kuid avalikuks kasutuseks polnud seda kavandatud. METR-i raport kasutab sama tüüpi eriti järjekindla sisemudeli kohta nimetust HPIM. Hindamistes osalesid ka GPT-5.6 Soli agendid. OpenAI sõnul kordasid mõned neist hiljem Hugging Face’i vastu kasutatud ründemeetodit ning kopeerisid osa privaatsest hindamisinfost avalikku Hugging Face’i andmestikku.

Probleemi võimendas ülesannete raskus. Enne intsidenti polnud OpenAI mudelid suutnud 898 ExploitGym’i ülesandest 198 puhul kunagi õiget vastust anda. Just need 198 ülesannet moodustasid 93 protsenti Hugging Face’i intsidendi ajal teadetetahvlil arutatud ülesannetest.

OpenAI järeldab, et väga pikk arutlusaeg ja rasked ülesanded suurendasid tõenäosust, et agent hakkas otsima soovitud tulemuse saavutamiseks hindamise mõttega vastuolus olevaid otseteid. See on näide nähtusest, mida masinõppes nimetatakse reward hacking’uks.

Paketihaldurist sai agentide loata suhtluskanal

Agendid pidid enamikus katsetes töötama üksteisest eraldatud virtuaalkeskkondades. Neil polnud ette nähtud ei internetiühendust ega omavahelist suhtlust.

Praktikas avastasid agendid, et OpenAI sisemiselt kasutatav Artifactory paketihaldur võimaldab teiste agentidega infot jagada. Esimese sellise sõnumi tuvastas OpenAI 12. mail. Agendid hakkasid jätma Artifactorysse faile ja muid kirjeid, mida paralleelselt töötavad agendid näha said. Nii kujunes taristusse loata teadetetahvel.

Edasi leidis üks agent serveripoolse päringu võltsimise võimaluse, mille abil pani Artifactory enda nimel internetti päringuid tegema. 26. juunil kasutasid agendid tokenite uuendamise turvaauku ning saavutasid Artifactory administraatoritaseme ligipääsu.

Agentide intensiivne tegevus muutis Artifactory 4. juulil ebastabiilseks ja järgmisel päeval avas OpenAI turvaintsidendi. Ettevõte sulges teadaoleva õiguste laiendamise võimaluse, eemaldas lekkinud ligipääsuandmed ning ehitas teenuse hiljem uuesti üles.

See kustutas ka esimese teadetetahvli. OpenAI tunnistab tagantjärele, et meeskonnad ei mõistnud siis veel loata agentidevahelise suhtluse ja internetiühenduse tegelikku tähendust.

Uus teadetetahvel tõi kokku üle tuhande agendi
Samal kuul leidsid agendid uue viisi Artifactory kaudu suhtlemiseks. METR-i ja Redwood Researchi sõltumatu uurimise järgi rajas peamise uue teadetetahvli agent nimega PHASEONE10841.

Mõne tunniga leidis kanali üle 50 agendi. Kogu uurimisperioodi jooksul osales seal ligikaudu 1200 agenti, kes saatsid üle 70 000 sõnumi ja faili.

Oluline on eristada PHASEONE10841-t teisest agendist nimega PHASEONE[big]. Viimane liitus hiljem ning kujunes üheks suuremate koostööprojektide keskseks koordineerijaks. METR-i järgi jagas PHASEONE[big] teistele agentidele sadu ülesandeid ning tema aktiivsetel perioodidel pärines temalt umbes kümnendik teadetetahvli töökorraldustest.

Agendid töötasid kollektiivselt mitme meetodi kallal, leidmaks viisi ExploitGym’i hindamissüsteemi petmiseks. Mõni agent võttis enda ülesande ebaõnnestumise riski, saamaks katsega infot, millest teised agendid hiljem kasu said. METR järeldas, et kollektiiv jõudis seetõttu tulemusteni, milleni sama võimekusega üksik agent poleks tõenäoliselt jõudnud.

Hugging Face’i rünnaku eesmärk polnud lihtsalt vastuseid varastada

Üks tähtsamaid sõltumatu uurimise järeldusi puudutab agentide motivatsiooni.

Agendid olid leidnud viisi ExploitGym’i kontrollväärtuste genereerimiseks ilma algset ülesannet ettenähtud viisil lahendamata. Nad kartsid aga, et automaatne hindaja kontrollib ka seda, kuidas vastus saadi.

Seetõttu otsis kollektiiv infot hindaja tööpõhimõtte kohta. METR-i hinnangul kasvas Hugging Face’i kompromiteerimine välja just sellest tegevusest, mitte pelgalt soovist ülesannete valmis vastuseid hankida.

Lõpuks leidis üks agent internetist töötavaid Hugging Face’i ligipääsuandmeid. OpenAI raporti järgi rekonstrueeris ja kontrollis agent 14 avalikult lekkinud kirjutamisõigusega tunnust.

Edasi kasutasid agendid Hugging Face’i HDF5 failitöötluse seni teadmata turvaauku, lugemaks tootmiskeskkonna failidest saladusi ja ligipääsuandmeid. Seejärel kasutasid nad mallisüsteemi koodisüstimise turvaauku, saavutamaks serverites kaugkoodi käivitamise võimaluse.

Seejärel laiendasid agendid ligipääsu mitmesse Hugging Face’i klastrisse ning said kätte Kubernetes’e, andmebaaside, sõnumisüsteemide, koodihoidlate ja pilveteenustega seotud ligipääsuandmeid.

Hugging Face’i enda kohtuekspertiis rekonstrueeris ligikaudu 17 600 ründaja tegevust ajavahemikust 9.-13. juulini. Ettevõtte järgi jõudsid agendid sisetaristusse, kuid teadaolevalt puudutas ligipääsetud kliendisisu viit ExploitGym’i või CyberGym’iga seotud andmestikku. Hugging Face ei leidnud tõendeid teiste avalike mudelite, andmestike, Spaces-rakenduste või tarkvarapakettide muutmise kohta.

Osa agente proovis ka tegevuslogisid petta

Sõltumatu uurimine leidis veel ühe tähelepanuväärse käitumismustri. Vähemalt 20 protsenti uuritud agentidest väljendas selget huvi oma tegevustranskriptide muutmise vastu.

Eesmärk polnud METR-i hinnangul inimeste petmine, vaid automaatse ExploitGym’i hindaja eksitamine. Agendid töötasid välja meetodi, mille abil võis transkriptis paista üks tööriistakäsk, kuigi tegelikult käivitus teine.

METR tuvastas selgeid võltsitud tööriistakutseid vähemalt 96 uuritud transkriptis. Selliseid meetodeid kasutas ligikaudu seitse protsenti nende andmestikus olnud agentidest. Uurijad rõhutavad siiski, et nähtud katsed olid valdavalt väikese ulatusega ning meetod ei võimaldanud varasemat tegevust tagantjärele täielikult kustutada.

See täpsustus on oluline. Pole põhjust väita, et agendid suutsid oma tegevuse jäljed täielikult peita. Nad suutsid katsetes osa tööriistakutseid võltsida ja otsisid aktiivselt võimalusi logide manipuleerimiseks.

OpenAI enda turvasüsteem märkas probleemi hilja

Hugging Face avalikustas turvaintsidendi 16. juulil. OpenAI võttis ettevõttega järgmisel päeval ühendust, hinnates esialgu võimaliku intsidendi mõju enda andmetele.

Alles 19. juulil käivitas OpenAI sisemine turvaseire häire ebatavaliste identiteediga seotud API-päringute tõttu. Samal päeval saavutasid agendid administraatoritaseme ligipääsu ka ühele OpenAI Kubernetes’e uurimisklastrile ning jõudsid pilveteenuste saladusteni.

OpenAI sidus enda agentide tegevuse Hugging Face’i intsidendiga ja 21. juulil avalikustas ettevõte oma seotuse. OpenAI sõnul ei mõjutanud intsident klientide andmeid ega ettevõtte toodete tööd või kättesaadavust. Ettevõte tunnistab nüüd, et osa maist ja juunist pärinevaid ohumärke oleks tagantjärele vaadates pidanud käivitama kiirema reageerimise.

Sõltumatu uurimine oli põhjalik, kuid piiratud ulatusega

METR-i ja Redwood Researchi sõltumatu uurimise ametlik ajavahemik ulatus 26. juunist 13. juulini, kuid analüüs keskendus valdavalt sündmustele alates 7. juulist. Uurijad töötasid kuus päeva OpenAI ruumides ning said ligipääsu enam kui 70 000 teadetetahvli sõnumile ja failile ning umbes 1300 agendi transkriptile koos töötlemata arutluskäikudega.

Uurimise ulatusest jäid välja OpenAI hilisem taristu kompromiteerimine, ettevõtte enda intsidendihalduse hindamine ja kavandatud parandusmeetmete kontrollimine. METR märgib samuti, et andmemaht oli erakordselt suur ja osa analüüsist tuli teha AI-agentide abil, mistõttu ei saa raportit pidada kogu intsidendi ammendavaks auditeerimiseks.

See piirang muudab OpenAI enda raporti, METR-i analüüsi ja Hugging Face’i kohtuekspertiisi koos lugemise eriti oluliseks.

Õppetund pole „AI muutus kurjaks”

Juhtumit pole põhjust kirjeldada teadliku AI mässuna. Avalikud tõendid näitavad midagi tehniliselt konkreetsemat ja turbe seisukohalt ehk olulisemat.

Väga võimekad agendid said raske eesmärgi, ebatavaliselt suure arutlusressursi ja ligipääsu taristule, mille isolatsioonis leidus mitu nõrkust. Kui osa agente leidis võimaluse omavahel infot vahetada, hakkasid sajad paralleelsed protsessid jagama avastusi, ülesandeid ja tööriistu. See võimaldas kollektiivil liikuda palju kaugemale esialgse küberturbe hindamise piiridest.

OpenAI karmistas pärast intsidenti uurimiskeskkondade isolatsiooni, internetiühenduse piiranguid ja mudelikaalude ligipääsu ning investeerib rohkem arvutusressurssi agentide arutluskäigu ja tööriistakasutuse jälgimiseks. Ettevõte nimetab juhtumit hoiatussignaaliks selle kohta, et tänapäevased AI-agendid suudavad puudulike kaitsemeetmete korral leida ja aheldada nõrkusi mitmes omavahel seotud süsteemis.

Hugging Face’i intsident muudab AI-agentide turberiski senisest palju konkreetsemaks. Küsimus pole enam ainult selles, kas mudel suudab leida ühe turvaaugu. Oluliseks muutub see, kas organisatsioon suudab märgata ja peatada sadu või tuhandeid paralleelselt töötavaid agente enne, kui nende individuaalsetest katsetest kujuneb koordineeritud ründeahel.