Anthropic odhalil pět případů, kdy byl Claude použit k nebezpečnému biologickému výzkumu
Společnost Anthropic zveřejnila pět případů, kdy výzkumníci použili její modely umělé inteligence Claude při výzkumu, který mohl podpořit vývoj biologických zbraní. Firma dotčené účty zrušila a posílila ochranná opatření, zároveň však zdůraznila, že některé stejné výzkumné postupy mohou být zcela legitimní.
K případům došlo v regionech, kde Anthropic přístup ke svým službám nepovoluje, a uživatelé se pokoušeli obejít geografická omezení. Výzkum se mimo jiné týkal změn vlastností virů a toxinů. Anthropic nezveřejnil jména dotčených výzkumníků ani názvy institucí či zemí.
AI pomáhala při skutečném laboratorním výzkumu
Nejvíce znepokojivé není to, že se někdo chatbota ptal na teoretické informace o biologických zbraních. Anthropic zjistil vazby na fungující laboratoře a výzkumné programy podporované státem.
V jednom případě výzkumník zkoumal adaptaci ptačí chřipky na savce. Anthropic v jeho konverzacích našel náznaky, že výzkumná skupina mohla mít přístup k příslušným izolátům viru. Claude mimo jiné pomáhal s analýzou dat, návrhem studie a strukturováním myšlenek.
Anthropic vyhodnotil skutečný přínos AI v tomto případě jako omezený. Schopnější modely blokovaly nebezpečnější obsah, takže uživatel musel přejít k méně schopným modelům Claude Sonnet 4 a Haiku 4.5.
V jiném případě využíval Claude k výzkumu toxinů program podporovaný státem. Další uživatel model použil k výpočetnímu přepracování různých toxinů a výslovně jej požádal, aby ve zprávách skryl přesnou povahu zkoumaných proteinů.
Největší výzvou je výzkum dvojího užití
Pro Anthropic není odhalování takových případů jednoduché. Stejné informace, které mohou zvýšit nebezpečnost patogenu, mohou rovněž pomoci při vývoji vakcíny nebo léčby. Také toxin může být zároveň nebezpečnou látkou i východiskem pro vývoj léčivého přípravku.
Pouhé blokování klíčových slov proto nestačí. Vysoce kvalifikovaný výzkumník nemusí Claudovi sdělit, že chce vytvořit biologickou zbraň. Práci může rozdělit do desítek zdánlivě rutinních vědeckých úkolů.
Anthropic ve své zprávě dospěl k závěru, že poskytování přístupu k nejpokročilejším biologickým nástrojům využívajícím AI vyžaduje důkladnější prověřování uživatelů a výzkumných institucí než dříve. Společnost také považuje za nezbytné uchovávat dostatečnou historii aktivit, aby bylo možné odhalit širší podezřelé vzorce, nikoli pouze jednotlivé dotazy.
Současné modely mění hodnocení rizik
Anthropic ve zprávě rovněž připouští výraznou změnu ve schopnostech svých modelů. Podle hodnocení společnosti modely Claude Opus 4 a Sonnet 4.5 z roku 2025 zdaleka nedosahovaly úrovně, při níž by mohly významně pomoci zkušenému výzkumníkovi zabývajícímu se nebezpečným biologickým výzkumem.
O novějších modelech už Anthropic nemůže totéž tvrdit se stejnou jistotou.
Společnost proto u svých nejschopnějších modelů uplatňuje přísnější omezení biologického obsahu. Anthropic však zdůrazňuje, že pět odhalených případů nedokazuje, že bezprostředně hrozí biologická hrozba vytvořená pomocí AI. Ukazují však, že výzkumné programy podporované státem a programy dvojího užití se již pokoušejí získat přístup k nejschopnějším americkým modelům umělé inteligence.
