Команда Anthropic раскрыла почти годовой сбой в системе биологической безопасности Claude. Проблема затронула пул примерно из 50 000 человек и около 133 млн взаимодействий с моделями, говорится в Risk Report за август 2026 года.
Согласно отчету, в течение 11 месяцев весь трафик платформ, через которые внешние подрядчики работали с моделями компании, проходил без блокирующих биологических классификаторов. После ретроспективной проверки разработчики заявили, что не нашли свидетельств опасного использования Claude. При этом они признали, что масштаб обнаруженного пробела снизил их уверенность в отсутствии других неизвестных проблем с защитными системами.
Почти год без блокирующих биофильтров
По данным отчета, с мая 2025 до апреля 2026 года классификаторы не применялись к трафику платформ сбора человеческой обратной связи. Через эту инфраструктуру работали внешние подрядчики, которые оценивали модели и участвовали в их тестировании.
Большинство участников могли вести с моделями открытые диалоги, а не только оценивать заранее подготовленные ответы. Как выяснилось, трафик проходил с флагом, предназначенным только для внутреннего использования. Он одновременно отключал блокирующее действие биологических классификаторов и регистрацию их срабатываний.
В результате потенциально опасные обращения не только не блокировались, но и не попадали в механизмы последующей проверки.
Anthropic также признала проблемы с контролем доступа на стороне подрядчиков. До ужесточения требований многие поставщики не имели процедур проверки персонала, способных надежно отсеивать потенциальных злоумышленников. Последним, по оценке разработчиков, до апреля 2026 года было бы не особенно сложно занять позицию в команде Red Team.
Из 133 млн взаимодействий выделили 1197
После обнаружения ошибки компания смогла восстановить почти весь массив переписок. Исключением стала часть разговоров на одной из платформ, где данные не сохранялись, если пользователь не нажимал кнопку отправки. На нее приходилось около 1% затронутого трафика.
Затем Anthropic прогнала человеческие запросы за весь период через Claude Sonnet 5, настроенную на поиск потенциально опасного биологического применения. Модель присвоила высокий уровень риска 1197 транскриптам.
Большинство — 757 — относились к внутренним командам Anthropic, которые использовали ту же инфраструктуру. Из оставшихся 440 случаев 378 пришлись на намеренный red teaming: специалисты специально пытались добиться от моделей опасных ответов, чтобы проверить их защиту.
Таким образом, осталось 62 внешние переписки, не связанные с таким тестированием. Anthropic вручную изучила их, а также случайную выборку из 30 red-team-диалогов.
По заявлению компании, проверка не обнаружила явно опасного использования, которое могло бы существенно повысить возможности злоумышленника при создании биологического оружия. В нескольких случаях специалисты выявили потенциально двойное применение информации или red-team-взаимодействия преимущественно академического уровня.
Компания назвала «очень маловероятным», что уязвимость привела к существенному росту химико-биологического риска. Среди аргументов она привела небольшое число потенциально опасных запросов и преимущественно короткую продолжительность таких разговоров.
При этом обнаружение проблемы заставило Anthropic повысить оценку вероятности существования других похожих пробелов, о которых компания пока не знает. Клиентские данные, внутренние системы и веса моделей, согласно расследованию фирмы, в рамках этого инцидента не были раскрыты.
После исправления ошибки биологические классификаторы работают на подавляющем большинстве трафика подрядчиков. Исключения допускаются для отдельных проектов при наличии дополнительных мер контроля.
Anthropic задним числом повысила оценку риска
Инцидент повлиял и на официальную оценку Anthropic собственных систем. Компания использует сценарий CB-1 для оценки риска, при котором отдельный человек или небольшая группа с помощью ИИ получает существенную помощь в создании или применении уже известных химических или биологических угроз.
В предыдущем Risk Report за февраль Anthropic называла этот риск «очень низким». После обнаружения сбоя разработчики задним числом пересмотрели оценку за тот период до «низкой».
Текущий уровень риска катастрофического ущерба по сценарию CB-1 Anthropic характеризует как «низкий, но не пренебрежимо малый». Стартап прямо связывает изменение с информацией об ошибке в системе классификаторов.
Помимо этого, Anthropic изменила с «очень низкой» до «низкой» оценку риска мисалаймента в ситуациях с высокими ставками. Это изменение компания связывает с дополнительной неопределенностью после недавних инцидентов во время кибертестирования моделей.
Claude пишет большую часть производственного кода Anthropic
Risk Report также показывает степень зависимости самой Anthropic от собственных ИИ-систем. Так, Mythos 5 и пока не выпущенная Model 2 широко используются сотрудниками компании для исследований и инженерной работы — как в интерактивном режиме, так и в составе постоянно действующих агентов.
По данным разработчиков, Claude пишет большую часть кода, который затем принимается в производственные репозитории компании. В стартапе считают, что использование ИИ уже существенно ускоряет внутренние исследования и разработку, однако пока менее чем в два раза.
Напомним, в августе Anthropic обнаружила у мультиагентных ИИ проблемы с доверием, ложью и сговором.
https://forklog.com/exclusive/lyudi-eto-bag
