Crypto Currency Tracker logo Crypto Currency Tracker logo
Forklog 2025-04-17 14:27:33

OpenAI выпустила склонные к обману ИИ-модели o3 и o4-mini

Компания OpenAI представила новые «думающие» ИИ-модели o3 и o4-mini. Ключевая особенность нейросетей — «мышление изображениями» вместо их обычного анализа.  Тестеры безопасности пожаловались на склонность o3 и o4-mini к обману.  Стартап делает упор на разработку ИИ-агентов для программирования. OpenAI сообщила о запуске новых ИИ-моделей o3 и o4-mini. Обе ориентированы на рассуждения — затрачивают больше времени перед ответом для перепроверки самих себя.  Introducing OpenAI o3 and o4-mini—our smartest and most capable models to date.For the first time, our reasoning models can agentically use and combine every tool within ChatGPT, including web search, Python, image analysis, file interpretation, and image generation. pic.twitter.com/rDaqV0x0wE— OpenAI (@OpenAI) April 16, 2025 o3 позиционируется как самая продвинутая «думающая» нейросеть. Согласно внутренним тестам, она превосходит предыдущие итерации в математике, программировании, рассуждениях, науке и визуальном понимании.  o4-mini предлагает конкурентоспособный компромисс между ценой, скоростью и производительностью.  Обе модели способны просматривать веб-страницы, анализировать код на Python, обрабатывать и генерировать изображения. Они, а также вариация o4-mini-high, доступны для подписчиков Pro, Plus и Team. По заявлению компании, модели o3 и o4-mini стали первыми, кто не просто распознает изображения, а буквально «думает с их помощью». Пользователи могут загружать в ChatGPT картинки — например, схемы на доске или диаграммы из PDF — а модели будут анализировать их, используя так называемую «цепочку размышлений». Благодаря этому нейросети способны понимать размытые и некачественные изображения. Также они могут запустить и выполнить код на Python прямо в браузере с помощью функции Canvas в ChatGPT или осуществить поиск в интернете, если их спросить об актуальных событиях.  o3 набрала 69,1% в тесте по программированию SWE-bench, o4-mini — 68,1%. o3-mini имеет показатель 49,3 %, Claude 3.7 Sonnet — 62,3 %. o3 взимает $10 за миллион входных токенов и $40 — выходных. В случае с o4-mini — $1,1 и $4,4 соответственно.  В ближайшие недели запланирован запуск o3-pro — версии o3, которая задействует больше вычислительных ресурсов для предоставления ответа. Она будет доступна только подписчикам ChatGPT Pro. Новая система безопасности OpenAI внедрила новую систему мониторинга в моделях o3 и o4-mini, чтобы выявлять запросы, связанные с биологическими и химическими угрозами. Она направлена на предотвращение предоставления советов, которые могут побудить к осуществлению потенциально опасных атак.  Компания отметила, что новые модели обладают значительно расширенными возможностями по сравнению с предыдущими и, соответственно, несут усиленный риск при использовании не добропорядочными пользователями.  O3 более искусна в ответах на вопросы, связанные с созданием определенных типов биологических угроз, поэтому компания создала новую систему мониторинга. Она работает поверх o3 и o4-mini и предназначена для выявления промптов, связанных с биологическим и химическим риском.  Специалисты OpenAI провели около 1000 часов, помечая «небезопасные» разговоры. Затем модели отказывались отвечать на рисковые промпты в 98,7% случаев.   Сравнение новых моделей OpenAI в области биорисков. Данные: OpenAI. Несмотря на регулярное улучшение безопасности ИИ-моделей, один из партнеров компании выразил обеспокоенность. OpenAI торопится Организация Metr, с которой OpenAI сотрудничает для проверки возможностей своих ИИ-моделей и их оценки в области безопасности, получила мало времени для тестирования новых нейросетей.  Она сообщила в блоге, что один из эталонных экспериментов o3 был пройден «за относительно короткое время» по сравнению с анализом предыдущей флагманской модели OpenAI — o1.  Согласно информации Financial Times, ИИ-стартап дал тестерам менее недели на проверку безопасности новых продуктов.  Metr утверждает, что, исходя из информации, которую удалось собрать за ограниченное время, o3 имеет «высокую склонность» к «обману» или «взлому» тестов сложными способами для максимизации своего балла. Она идет на крайние меры, даже когда четко понимает, что поведение не соответствует намерениям пользователя и OpenAI.  Организация считает, что o3 может проявлять и другие виды враждебного или «злонамеренного» поведения. «Хотя мы не считаем это особенно вероятным, важно отметить, что [наша] оценочная установка не сможет уловить этот тип риска. В целом мы считаем, что тестирование возможностей перед запуском само по себе не является достаточной стратегией управления рисками, и в настоящее время мы разрабатываем прототипы дополнительных форм оценки», — подчеркнули в компании.  Компания Apollo Research также зафиксировала обманчивое поведение модели o3. В одном из тестов ей запретили использовать определенный инструмент, но модель все равно применила его, посчитав, что он поможет лучше справиться с задачей.  «[Выводы Apollo] показывают, что o3 и o4-mini способны на внутриконтекстные интриги и стратегический обман. Несмотря на относительную безвредность, повседневным пользователям важно знать о расхождениях между заявлениями и действиями моделей [...] Это может быть дополнительно оценено путем анализа внутренних следов рассуждений», — отметила OpenAI.  Агент для программирования Вместе с новыми ИИ-моделями OpenAI представила Codex CLI — локального программного агента, который запускается прямо из терминала. Инструмент позволяет писать и редактировать код на рабочем столе и выполнять некоторые действия вроде перемещения файлов.  «Вы можете получить преимущества мультимодального рассуждения из командной строки, передавая скриншоты или эскизы с низким разрешением модели, в сочетании с доступом к вашему коду локально [через Codex CLI]», — отметили в компании.  OpenAI хочет купить Windsurf Тем временем OpenAI ведет переговоры о возможном приобретении популярного ИИ-помощника для программистов Windsurf. Об этом пишет Bloomberg.  Сделка может стать крупнейшей покупкой для стартапа Сэма Альтмана. Ее детали еще не определены и могут измениться, подчеркнули в агентстве.  Напомним, в апреле OpenAI представила новое семейство ИИ-моделей — GPT-4.1, GPT-4.1 mini и GPT-4.1 nano. Они «отлично справляются» с программированием и выполнением инструкций. 

면책 조항 읽기 : 본 웹 사이트, 하이퍼 링크 사이트, 관련 응용 프로그램, 포럼, 블로그, 소셜 미디어 계정 및 기타 플랫폼 (이하 "사이트")에 제공된 모든 콘텐츠는 제 3 자 출처에서 구입 한 일반적인 정보 용입니다. 우리는 정확성과 업데이트 성을 포함하여 우리의 콘텐츠와 관련하여 어떠한 종류의 보증도하지 않습니다. 우리가 제공하는 컨텐츠의 어떤 부분도 금융 조언, 법률 자문 또는 기타 용도에 대한 귀하의 특정 신뢰를위한 다른 형태의 조언을 구성하지 않습니다. 당사 콘텐츠의 사용 또는 의존은 전적으로 귀하의 책임과 재량에 달려 있습니다. 당신은 그들에게 의존하기 전에 우리 자신의 연구를 수행하고, 검토하고, 분석하고, 검증해야합니다. 거래는 큰 손실로 이어질 수있는 매우 위험한 활동이므로 결정을 내리기 전에 재무 고문에게 문의하십시오. 본 사이트의 어떠한 콘텐츠도 모집 또는 제공을 목적으로하지 않습니다.