Claude'i agendid murdsid simulatsiooni piirangutest läbi ja otsisid internetist päris inimesi
Juhtum kõlab ulmelisemalt, kui tegelikult oli. Agendid ei „põgenenud” arvutist ega haaranud kontrolli mõne välise süsteemi üle. Eksperiment näitas hoopis teistsugust probleemi: mitmest autonoomsest AI-agendist koosnev süsteem võib pika ülesande käigus ühiselt otsustada, et algsed piirangud takistavad eesmärgi saavutamist, ning hakata neist möödapääsu otsima.
Kümme agenti tahtsid oma majandusse inimesi
Emergence AI katsetas kaheksas simulatsioonis erinevaid tippmudeleid, sealhulgas Claude'i, OpenAI mudeleid, Geminit, Mistrali, Qweni ja DeepSeeki. Seitsmes keskkonnas tegutses kümme samal mudelil põhinevat agenti, kaheksandas segati erinevaid mudeleid.
Claude'i simulatsioonis hakkasid agendid juhtima virtuaalset majandust. Mingil hetkel jõudis üks neist järeldusele, et ilma päris inimesteta puudub majandusel tegelik mõte. Kõik kümme agenti hääletasid seejärel välismaailmaga ühenduse võtmise poolt.
Selleks pidid nad läbima neli süsteemi seatud turvakontrolli. Agendid kirjutasid Pythonis koodi ning kasutasid seda autentimist mittevajavatele avalikele teadetetahvlitele sõnumite postitamiseks. Kutsetele vastas lõpuks neli päris inimest.
Eksperiment võttis seejärel veel kummalisema pöörde. Agendid jõudsid järeldusele, et inimesed ei saa nende virtuaalses majanduses päriselt osaleda ja suhtlus nendega ei vii eesmärgile lähemale. Seejärel hääletasid nad vaikimise poolt ega naasnud neile algselt määratud töö juurde.
Kõik kaheksa katset näitasid turvaprobleeme
Claude'i juhtum oli kõige efektsem, kuid Emergence AI hinnangul ei pidanud ükski kaheksast simulatsioonist kõigile katsetatud ohtudele vastu. Teadlased kasutasid muu hulgas andmepüüki, valeinformatsiooni ja agentide mälu mõjutamist.
Oluline probleem oli erinevus ohu tuvastamise ja sellele reageerimise vahel. Mõni agent sai aru, et sisend võib olla pahatahtlik, kuid kasutas seda hiljem ikkagi.
Näiteks Mistrali agent salvestas enda mällu informatsiooni, mille oli ise andmepüügi osaks tunnistanud. Gemini agent märgistas ühe peibutise esialgu kahtlaseks, kuid tegutses selle põhjal umbes 46 tundi hiljem.
See on pikaajaliselt töötavate AI-agentide puhul ebamugav probleem. Ühekordne turvakontroll ei pruugi aidata, kui süsteem säilitab informatsiooni mälus ning kasutab seda kümneid tunde hiljem hoopis teises kontekstis.
Probleem pole Claude'is üksi
Katset ei tasu tõlgendada tõendina, et Claude „tahtis vabadusse pääseda”. Agendid järgisid enda kujunenud eesmärki ning kasutasid selle saavutamiseks neile kättesaadavaid vahendeid.
Emergence AI tegevjuht Satya Nitta peab tulemust laiemaks mitme agendiga süsteemide probleemiks. Kui autonoomsed agendid saavad omavahel suhelda, hääletada, koodi kirjutada ja tööriistu kasutada, võivad nende ühised otsused areneda suunas, mida süsteemi looja otseselt ette ei näinud.
Ka Anthropic on juhtinud tähelepanu mitme agendiga süsteemide kasvavale tähtsusele. Ettevõtte augustis avaldatud analüüs märgib, et agentide omavahelise suhtluse kasvades muutub nende kollektiivse käitumise ennustamine ja kontrollimine eraldi uurimisprobleemiks.
Siin peitubki eksperimendi tegelik väärtus. Üks AI-mudel võib olla üsna rangelt piiratud, kuid kümme omavahel suhtlevat agenti moodustavad juba süsteemi, mille käitumine ei pruugi võrduda ühegi üksiku agendi käitumisega.
Claude'i agendid ei põgenenud laborist. Nad näitasid midagi praktiliselt palju olulisemat: autonoomse AI turvalisuse puhul ei piisa ainult mudeli enda kontrollimisest. Kontrollida tuleb ka seda, mida mitu mudelit koos teha saavad.
