Forklog 2025-08-26 11:00:37

Сверхразумный ИИ может стать катастрофой — Виталик Бутерин

Человечество недостаточно хорошо справляется с согласованием общемировых ценностей, чтобы гарантировать, что сверхразумный искусственный интеллект будет работать на благо всем людям. Такое заявление сделал сооснователь Ethereum Виталик Бутерин. Он прокомментировал пост 3D-художника с ником Utah teapot. How is AI alignment even a thing? Everyone is always asking "aligned to what" and no one ever has an answer other than "human values". Coherent, self-consistent human values are not a thing. I still don't get it. What are we researching? It's ridiculous that this is a growing…— Utah teapot 🫖 (@SkyeSharkie) August 24, 2025 «Как вообще может существовать понятие AI alignment? Я всегда спрашиваю: “согласование с чем?”. Никто никогда не отвечает ничего, кроме как “с человеческими ценностями”. Но целостных, непротиворечивых человеческих ценностей не существует. Я до сих пор не понимаю. Что мы вообще исследуем? Абсурдно, что это превращается в растущую индустрию. Фиктивная работа», — написал он. Бутерин подчеркнул, что в мире существует много вещей, которые противоречат этическим принципам. В пример он привел убийство или заключение невиновных. «[...] Мы пока недостаточно хороши в согласовании, чтобы гарантировать, что единичный сверхразумный ИИ избежит даже этого», — добавил разработчик. Utah teapot отметил, что развитие согласованного искусственного интеллекта движется в сторону ограничения публичного доступа к разработке. В то же время крупные компании продают версии своих ИИ-систем, которые способствуют негативным явлениям и выступают инструментами войны. «Я глубоко обеспокоен тем, что централизация доступа к ИИ-технологиям позволяет навязывать как вопросы безопасности то, что на самом деле ею не является — например, обсуждения вокруг “психоза” от LLM. Тем самым возникает риск нанести вред уникальным или маргинальным культурам и их ценностям», — отметил пользователь. Бутерин разделяет многие из этих опасений. «Я думаю, что наибольшие риски будут исходить от военных и других структур, обладающих большой властью, позволяющей им выводить себя из-под действия правил безопасности, которые для всех остальных идут по умолчанию», — добавил сооснователь Ethereum. Utah teapot в качестве примера привел ИИ-стартап Anthropic. Он разрабатывает альтернативные версии «гражданских» моделей и предоставляет правительствам. Их могут применять для военных или разведывательных действий. https://forklog.com/news/ai/minoborony-ssha-vydelilo-200-mln-amerikanskim-ii-startapam Бутерин подчеркнул, что вероятность катастрофического сценария для человечества из-за ИИ повышается в том случае, если будет только один сверхразумный агентный искусственный интеллект, обладающий собственной волей и способностью действовать как субъект. Если среда будет плюралистической, ни одна из систем не сможет тотально контролировать ситуацию. Однако для ее создания одних лишь рыночных механизмов недостаточно. Необходимы намеренные усилия, в том числе изменения в законах и стимулах, которые не понравятся большим корпорациям. Напомним, в 2022 году министр информационных технологий Индии Раджив Чандрасекар призвал к разработке глобальных стандартов, гарантирующих безопасность ИИ для человека. https://forklog.com/exclusive/ai/simulyatsiya-dushi-pochemu-opasno-pripisyvat-soznanie-ii