Crypto Currency Tracker logo Crypto Currency Tracker logo
Forklog 2025-08-26 11:00:37

Сверхразумный ИИ может стать катастрофой — Виталик Бутерин

Человечество недостаточно хорошо справляется с согласованием общемировых ценностей, чтобы гарантировать, что сверхразумный искусственный интеллект будет работать на благо всем людям. Такое заявление сделал сооснователь Ethereum Виталик Бутерин. Он прокомментировал пост 3D-художника с ником Utah teapot. How is AI alignment even a thing? Everyone is always asking "aligned to what" and no one ever has an answer other than "human values". Coherent, self-consistent human values are not a thing. I still don't get it. What are we researching? It's ridiculous that this is a growing…— Utah teapot 🫖 (@SkyeSharkie) August 24, 2025 «Как вообще может существовать понятие AI alignment? Я всегда спрашиваю: “согласование с чем?”. Никто никогда не отвечает ничего, кроме как “с человеческими ценностями”. Но целостных, непротиворечивых человеческих ценностей не существует. Я до сих пор не понимаю. Что мы вообще исследуем? Абсурдно, что это превращается в растущую индустрию. Фиктивная работа», — написал он. Бутерин подчеркнул, что в мире существует много вещей, которые противоречат этическим принципам. В пример он привел убийство или заключение невиновных. «[...] Мы пока недостаточно хороши в согласовании, чтобы гарантировать, что единичный сверхразумный ИИ избежит даже этого», — добавил разработчик. Utah teapot отметил, что развитие согласованного искусственного интеллекта движется в сторону ограничения публичного доступа к разработке. В то же время крупные компании продают версии своих ИИ-систем, которые способствуют негативным явлениям и выступают инструментами войны. «Я глубоко обеспокоен тем, что централизация доступа к ИИ-технологиям позволяет навязывать как вопросы безопасности то, что на самом деле ею не является — например, обсуждения вокруг “психоза” от LLM. Тем самым возникает риск нанести вред уникальным или маргинальным культурам и их ценностям», — отметил пользователь. Бутерин разделяет многие из этих опасений. «Я думаю, что наибольшие риски будут исходить от военных и других структур, обладающих большой властью, позволяющей им выводить себя из-под действия правил безопасности, которые для всех остальных идут по умолчанию», — добавил сооснователь Ethereum. Utah teapot в качестве примера привел ИИ-стартап Anthropic. Он разрабатывает альтернативные версии «гражданских» моделей и предоставляет правительствам. Их могут применять для военных или разведывательных действий. https://forklog.com/news/ai/minoborony-ssha-vydelilo-200-mln-amerikanskim-ii-startapam Бутерин подчеркнул, что вероятность катастрофического сценария для человечества из-за ИИ повышается в том случае, если будет только один сверхразумный агентный искусственный интеллект, обладающий собственной волей и способностью действовать как субъект. Если среда будет плюралистической, ни одна из систем не сможет тотально контролировать ситуацию. Однако для ее создания одних лишь рыночных механизмов недостаточно. Необходимы намеренные усилия, в том числе изменения в законах и стимулах, которые не понравятся большим корпорациям. Напомним, в 2022 году министр информационных технологий Индии Раджив Чандрасекар призвал к разработке глобальных стандартов, гарантирующих безопасность ИИ для человека. https://forklog.com/exclusive/ai/simulyatsiya-dushi-pochemu-opasno-pripisyvat-soznanie-ii

Leggi la dichiarazione di non responsabilità : Tutti i contenuti forniti nel nostro sito Web, i siti con collegamento ipertestuale, le applicazioni associate, i forum, i blog, gli account dei social media e altre piattaforme ("Sito") sono solo per le vostre informazioni generali, procurati da fonti di terze parti. Non rilasciamo alcuna garanzia di alcun tipo in relazione al nostro contenuto, incluso ma non limitato a accuratezza e aggiornamento. Nessuna parte del contenuto che forniamo costituisce consulenza finanziaria, consulenza legale o qualsiasi altra forma di consulenza intesa per la vostra specifica dipendenza per qualsiasi scopo. Qualsiasi uso o affidamento sui nostri contenuti è esclusivamente a proprio rischio e discrezione. Devi condurre la tua ricerca, rivedere, analizzare e verificare i nostri contenuti prima di fare affidamento su di essi. Il trading è un'attività altamente rischiosa che può portare a perdite importanti, pertanto si prega di consultare il proprio consulente finanziario prima di prendere qualsiasi decisione. Nessun contenuto sul nostro sito è pensato per essere una sollecitazione o un'offerta