Crypto Currency Tracker logo Crypto Currency Tracker logo
Forklog 2025-11-06 07:35:51

Microsoft обнаружила уязвимости ИИ-агентов после масштабного теста

Эксперты Microsoft представили среду для тестирования ИИ-агентов и выявили уязвимости, присущие современным цифровым помощникам. Платформа Magentic Marketplace — экспериментальная площадка для моделирования поведения ИИ-ассистентов. В ней можно проводить тесты, например, заказать ужин по инструкциям пользователя, где представляющие рестораны агенты конкурируют между собой. Исходный код проекта открыт, поэтому разные группы исследователей могут адаптировать его под собственные задачи или воспроизведение результатов. Управляющий директор лаборатории AI Frontiers Lab компании Microsoft Research Эдже Камар подчеркнул, что подобные эксперименты будут иметь решающее значение для понимания возможностей ИИ-агентов. «Действительно возникает вопрос о том, как изменится мир, когда они будут сотрудничать, общаться друг с другом и вести переговоры. Мы хотим понять эти вещи», — отметил он. Первый блин комом В ходе первых тестов 100 клиентских агентов взаимодействовали с 300 бизнес-помощниками, включая модели GPT-4o, GPT-5 и Gemini 2.5 Flash. Эксперимент позволил выявить их уязвимые стороны. Эксперты выяснили, что существуют методы манипулирования агентами-клиентами, позволяющие побудить их купить определенный продукт. Если цифровому ассистенту давали много вариантов для выбора, это перегружало его внимание. «Мы хотим, чтобы агенты помогали нам обрабатывать большое количество вариантов. И мы видим, что текущие модели перенапрягаются из-за этого», — сказал Камар. Помощники столкнулись с трудностями, когда им предложили сотрудничать для достижения общей цели. Они не смогли найти консенсус в том, кто какую роль должен выполнять. Эффективность повысилась, когда им предоставили более четкие инструкции по взаимодействию с другими агентами. «Мы можем предоставлять моделям инструкции — как будто говорим им, что делать, шаг за шагом. Но если мы тестируем их способности к сотрудничеству, я бы ожидал, что эти нейросети будут обладать такими способностями по умолчанию», — подытожил Камар. Напомним, в ноябре Amazon потребовала от Perplexity удалить браузер со встроенным ИИ-агентом из своего интернет-магазина, указав на его некачественную работу. Трейдерские возможности искусственного интеллекта также оказались под вопросом, показал первый сезон торгового турнира Alpha Arena.

Leggi la dichiarazione di non responsabilità : Tutti i contenuti forniti nel nostro sito Web, i siti con collegamento ipertestuale, le applicazioni associate, i forum, i blog, gli account dei social media e altre piattaforme ("Sito") sono solo per le vostre informazioni generali, procurati da fonti di terze parti. Non rilasciamo alcuna garanzia di alcun tipo in relazione al nostro contenuto, incluso ma non limitato a accuratezza e aggiornamento. Nessuna parte del contenuto che forniamo costituisce consulenza finanziaria, consulenza legale o qualsiasi altra forma di consulenza intesa per la vostra specifica dipendenza per qualsiasi scopo. Qualsiasi uso o affidamento sui nostri contenuti è esclusivamente a proprio rischio e discrezione. Devi condurre la tua ricerca, rivedere, analizzare e verificare i nostri contenuti prima di fare affidamento su di essi. Il trading è un'attività altamente rischiosa che può portare a perdite importanti, pertanto si prega di consultare il proprio consulente finanziario prima di prendere qualsiasi decisione. Nessun contenuto sul nostro sito è pensato per essere una sollecitazione o un'offerta