Anthropic выявила пять случаев использования Claude в опасных биологических исследованиях
Anthropic сообщила о пяти случаях, когда исследователи использовали её модели ИИ Claude в работах, которые могли способствовать разработке биологического оружия. Компания заблокировала соответствующие учётные записи и усилила меры защиты, подчеркнув при этом, что некоторые из этих исследований могут быть вполне законными.
Случаи произошли в регионах, где Anthropic не предоставляет доступ к своим моделям, а пользователи пытались обойти географические ограничения. Исследования среди прочего касались изменения свойств вирусов и токсинов. Anthropic не раскрыла имена исследователей, названия организаций и страны, о которых идёт речь.
ИИ помогал в реальных лабораторных исследованиях
Наибольшее беспокойство вызывает не то, что кто-то запрашивал у чат-бота теоретическую информацию о биологическом оружии. Anthropic обнаружила связи с действующими лабораториями и исследовательскими программами, пользующимися государственной поддержкой.
В одном из случаев исследователь изучал адаптацию птичьего гриппа к млекопитающим. В переписке пользователя Anthropic обнаружила признаки того, что исследовательская группа могла иметь доступ к соответствующим изолятам вируса. Claude среди прочего помогал анализировать данные, планировать исследование и систематизировать идеи.
Anthropic оценила фактический вклад ИИ в этом случае как ограниченный. Более мощные модели блокировали более опасный контент, из-за чего пользователю пришлось обратиться к менее мощным Claude Sonnet 4 и Haiku 4.5.
В другом случае программа, пользующаяся государственной поддержкой, применяла Claude для исследований токсинов. Ещё один пользователь задействовал модель, чтобы с помощью вычислительных методов изменять структуру различных токсинов, и прямо просил Claude скрывать в отчётах, что именно представляют собой исследуемые белки.
Главная проблема — исследования двойного назначения
Anthropic непросто выявлять подобные случаи. Сведения, с помощью которых патоген можно сделать опаснее, также могут помочь в разработке вакцины или метода лечения. Токсин, в свою очередь, может быть как опасным веществом, так и основой для лекарственного препарата.
Поэтому простой блокировки ключевых слов недостаточно. Высококвалифицированному исследователю не нужно сообщать Claude, что он хочет создать биологическое оружие. Он может разбить работу на десятки задач, каждая из которых выглядит как обычная научная работа.
В своём отчёте Anthropic пришла к выводу, что предоставление доступа к ИИ-инструментам с наиболее широкими возможностями в области биологии требует более тщательной, чем прежде, проверки пользователей и исследовательских организаций. Компания также считает необходимым сохранять достаточно полную историю активности, чтобы выявлять общие подозрительные закономерности, а не отдельные запросы.
Нынешние модели меняют оценку рисков
В отчёте Anthropic также признаёт существенный рост возможностей своих моделей. По оценке компании, модели Claude Opus 4 и Sonnet 4.5 образца 2025 года явно не достигали уровня, на котором они могли бы оказать существенную помощь опытному исследователю, занимающемуся опасными биологическими исследованиями.
В отношении более новых моделей Anthropic уже не может утверждать это с той же уверенностью.
Поэтому компания применяет к контенту биологической тематики более строгие ограничения в своих наиболее мощных моделях. Однако Anthropic подчёркивает, что пять выявленных случаев не доказывают, что в ближайшее время возникнет биологическая угроза, созданная с помощью ИИ. Они показывают, что исследовательские программы с государственной поддержкой и программы двойного назначения уже пытаются получить доступ к американским моделям ИИ с наиболее широкими возможностями.
