Исследователи Anthropic допустили саботаж ИИ против человечества

Искусственный интеллект может однажды саботировать человечество, но пока все в порядке. Об этом сообщили эксперты ИИ-стартапа Anthropic в новом исследовании. New Anthropic research: Sabotage evaluations for frontier modelsHow well could AI models mislead us, or secretly sabotage tasks, if they were trying to?Read our paper and blog post here: https://t.co/nQrvnhrBEv pic.twitter.com/GWrIr3wQVH— Anthropic (@AnthropicAI) October 18, 2024 Специалисты исследовали четыре различных вектора угроз со стороны искусственного интеллекта и определили, что «минимальные меры смягчения последствий» были достаточными для текущих моделей. «Достаточно способные модели могут подорвать человеческий надзор и принятие решений в важных контекстах. Например, в контексте разработки ИИ модели могут тайно саботировать усилия по оценке собственных опасных возможностей, мониторингу их поведения или принятию решений об их развертывании», — говорится в документе. Однако хорошая новость в том, что исследователи Anthropic видят возможности смягчения таких рисков, по крайней мере на текущий момент. «Хотя наши демонстрации показали, что в современных моделях, возможно, есть низкоуровневые признаки способности к саботажу, мы считаем, что минимальные меры по смягчению последствий достаточны для устранения рисков. Тем не менее по мере улучшения возможностей ИИ, вероятно, будут необходимы более реалистичные и жесткие меры по снижению рисков», — говорится в отчете. Ранее эксперты взломали ИИ-роботов и заставили их выполнять запрещенные протоколами безопасности и этическими нормами действия. Например, детонировать бомбы.