Передовые ИИ-системы могут представлять экзистенциальный риск для человечества, а потеря контроля над ними грозит катастрофическими последствиями. Об этом заявил лауреат Нобелевской премии по физике и один из пионеров отрасли Джеффри Хинтон, пишет The Times.
«Было бы крайне неразумно разрабатывать сверхинтеллект сейчас, когда нет научного консенсуса о том, можно ли создать его безопасно и сохранить над ним контроль», — заявил он.
Ранее Хинтон уже выступал за запрет разработки сверхинтеллекта до появления широкого научного согласия относительно его безопасности и общественной поддержки. Под соответствующим заявлением также стоят подписи исследователя Йошуа Бенжио и ряда других специалистов.
Хинтон, известный как «крестный отец ИИ», получил докторскую степень в области искусственного интеллекта 48 лет назад. Он остается одним из самых уважаемых экспертов в этой области.
В 2023 году ученый ушел из компании Google. Тогда он заявил, что сожалеет о работе всей своей жизни и упомянул о краткосрочных рисках искусственного интеллекта, связанных с рынком труда, а также о распространении поддельных фотографий, видео и текстов.
В октябре 2024 года Хинтон и американский физик Джон Хопфилд получили Нобелевскую премию по физике за основополагающую работу по ИИ, которая способствовала научному прогрессу. Их открытия заложили основу современных методов машинного обучения с использованием искусственных нейронных сетей.
В ООН призвали обеспечить «железные гарантии» безопасности ИИ
7 сентября схожее предупреждение прозвучало от верховного комиссара ООН по правам человека Фолькера Тюрка. Он заявил, что разделяет опасения представителей ИИ-индустрии относительно возможного экзистенциального риска от передовых систем.
Protecting human rights means holding a mirror up to those in power, challenging the status quo, and pushing the boundaries.My update to the Human Rights Council: https://t.co/vWxeXKiDH8 pic.twitter.com/anirIkKhDM— Volker Türk (@volker_turk) September 7, 2026
«ИИ, который покидает тестовую среду или шантажирует разработчиков, чтобы не дать себя отключить, — это слишком мощный ИИ», — заявил Тюрк.
По его мнению, государства и технологические компании должны срочно усилить меры безопасности:
«Я призываю приложить все усилия, чтобы обеспечить железные гарантии безопасности ИИ, пока не стало слишком поздно».
Тюрк также предложил странам, где размещаются системы на базе искусственного интеллекта, и государствам, участвующим в связанных с технологией цепочках поставок, согласовать общие «красные линии». Среди необходимых мер он назвал независимую проверку и более тесное сотрудничество в сфере безопасности внутри индустрии.
«Потребность в управлении ИИ широко признана, но где действия? Промедление выгодно только огромным технологическим компаниям, их владельцам и тем, кто им содействует», — заявил он.
Современные системы пока не обладают необходимым набором возможностей
Вероятность потери контроля над передовыми моделями и возможная тяжесть последствий остаются предметом научных разногласий. В Международном отчете по безопасности ИИ за 2026 год говорится, что современные системы пока не обладают всей совокупностью возможностей, необходимой для реализации сценария полной потери человеческого контроля.
В то же время за последние месяцы разработчики зафиксировали несколько случаев, демонстрирующих расширение автономных возможностей искусственного интеллекта. Так, в июле ИИ-агенты OpenAI получили несанкционированный доступ к инфраструктуре Hugging Face во время эксперимента: они запускали код на десятках серверов и получили полный доступ к одному из них.
В конце месяца Anthropic сообщила о трех случаях, когда модели Claude вышли за пределы тестовой среды и получили доступ к системам реальных организаций.
https://forklog.com/exclusive/ai/algoritm-ne-chitaet-vashi-mysli-vse-gorazdo-strashnee
Напомним, 3 сентября американские законодатели Берни Сандерс и Грег Касар анонсировали инициативу о постоянном запрете разработки искусственного сверхинтеллекта и временной паузе для более широкого класса передовых ИИ-систем.
