Crypto Currency Tracker logo Crypto Currency Tracker logo
Forklog 2026-07-08 13:31:17

Исследователи научились замедлять ИИ-модели логическими ловушками

Специалисты из Чжэцзянского университета и Alibaba представили на ICML 2026 в Сеуле новый класс атак на ИИ-системы, пишет IEEE Spectrum. Их цель — не взломать модель и не получить доступ к данным, а заставить ее настолько долго обрабатывать запросы, чтобы она стала бесполезной. Как работает новый метод Рассуждающие модели — в отличие от обычных LLM — разбивают задачу на последовательные шаги перед ответом. Их все чаще используют в системах, где требуется сложный многоэтапный анализ. При работе с неполными или противоречивыми данными такие модели склонны к чрезмерному обдумыванию — генерации слишком длинных цепочек рассуждений. Это увеличивает время обработки запросов и расход вычислительных ресурсов. В автоматических системах это открывает вектор для DoS-атак. Исследователи разработали метод, который намеренно провоцирует такое поведение. Генетический алгоритм перемешивает условия задач, удаляет ключевые предпосылки и добавляет лишние. Затем он отбирает варианты, которые вызывают максимально длинный ответ. На бенчмарке MATH длина рассуждений выросла в 26,1 раза. Метод превзошел существующие способы такого воздействия. Уязвимыми оказались DeepSeek-R1, Qwen3-Thinking, GPT-o3 и Gemini 2.5 Flash. Авторы также выяснили, что созданные для одной небольшой модели запросы оказались эффективны и против других систем, включая крупные коммерческие проекты. Это позволяет готовить атаки на закрытые сервисы без больших затрат. «Наша цель — не продемонстрировать, что масштабные атаки возможны с минимальными затратами, а зафиксировать, что эта поверхность атаки существует», — написал один из исследователей Вэй Цао в письме IEEE Spectrum. Почему это важно Рассуждающие модели все чаще используют в агентных ИИ-системах, включая торговых ботов, инструменты аудита смарт-контрактов и децентрализованную инфраструктуру. В DeFi цифровые ассистенты на базе искусственного интеллекта управляют реальными средствами без участия человека. Сбой в логике — в том числе вызванный намеренно — создает операционный риск. Новая работа опирается на уже известную особенность рассуждающих моделей — склонность к чрезмерному обдумыванию. В феврале 2025 года группа исследователей проанализировала 4018 агентных траекторий и выделила повторяющиеся паттерны чрезмерного обдумывания у моделей: паралич анализа — модель продолжает рассуждать вместо выполнения задачи; непредсказуемые действия — после ошибки пытается выполнить несколько действий одновременно; преждевременное завершение — прекращает выполнение задачи, не проверив результат. Рассуждающие модели оказались более склонны к чрезмерному обдумыванию. Чем сильнее выражен эффект, тем ниже результативность. Напомним, в начале июля 2026 года аналитики предупредили, что дальнейшее развитие OpenAI и Anthropic все сильнее зависит от доступности вычислительных мощностей, финансирования дата-центров и регуляторных решений.

Read the Disclaimer : All content provided herein our website, hyperlinked sites, associated applications, forums, blogs, social media accounts and other platforms (“Site”) is for your general information only, procured from third party sources. We make no warranties of any kind in relation to our content, including but not limited to accuracy and updatedness. No part of the content that we provide constitutes financial advice, legal advice or any other form of advice meant for your specific reliance for any purpose. Any use or reliance on our content is solely at your own risk and discretion. You should conduct your own research, review, analyse and verify our content before relying on them. Trading is a highly risky activity that can lead to major losses, please therefore consult your financial advisor before making any decision. No content on our Site is meant to be a solicitation or offer.