Crypto Currency Tracker logo Crypto Currency Tracker logo
Forklog 2025-11-06 07:35:51

Microsoft обнаружила уязвимости ИИ-агентов после масштабного теста

Эксперты Microsoft представили среду для тестирования ИИ-агентов и выявили уязвимости, присущие современным цифровым помощникам. Платформа Magentic Marketplace — экспериментальная площадка для моделирования поведения ИИ-ассистентов. В ней можно проводить тесты, например, заказать ужин по инструкциям пользователя, где представляющие рестораны агенты конкурируют между собой. Исходный код проекта открыт, поэтому разные группы исследователей могут адаптировать его под собственные задачи или воспроизведение результатов. Управляющий директор лаборатории AI Frontiers Lab компании Microsoft Research Эдже Камар подчеркнул, что подобные эксперименты будут иметь решающее значение для понимания возможностей ИИ-агентов. «Действительно возникает вопрос о том, как изменится мир, когда они будут сотрудничать, общаться друг с другом и вести переговоры. Мы хотим понять эти вещи», — отметил он. Первый блин комом В ходе первых тестов 100 клиентских агентов взаимодействовали с 300 бизнес-помощниками, включая модели GPT-4o, GPT-5 и Gemini 2.5 Flash. Эксперимент позволил выявить их уязвимые стороны. Эксперты выяснили, что существуют методы манипулирования агентами-клиентами, позволяющие побудить их купить определенный продукт. Если цифровому ассистенту давали много вариантов для выбора, это перегружало его внимание. «Мы хотим, чтобы агенты помогали нам обрабатывать большое количество вариантов. И мы видим, что текущие модели перенапрягаются из-за этого», — сказал Камар. Помощники столкнулись с трудностями, когда им предложили сотрудничать для достижения общей цели. Они не смогли найти консенсус в том, кто какую роль должен выполнять. Эффективность повысилась, когда им предоставили более четкие инструкции по взаимодействию с другими агентами. «Мы можем предоставлять моделям инструкции — как будто говорим им, что делать, шаг за шагом. Но если мы тестируем их способности к сотрудничеству, я бы ожидал, что эти нейросети будут обладать такими способностями по умолчанию», — подытожил Камар. Напомним, в ноябре Amazon потребовала от Perplexity удалить браузер со встроенным ИИ-агентом из своего интернет-магазина, указав на его некачественную работу. Трейдерские возможности искусственного интеллекта также оказались под вопросом, показал первый сезон торгового турнира Alpha Arena.

Feragatnameyi okuyun : Burada sunulan tüm içerikler web sitemiz, köprülü siteler, ilgili uygulamalar, forumlar, bloglar, sosyal medya hesapları ve diğer platformlar (“Site”), sadece üçüncü taraf kaynaklardan temin edilen genel bilgileriniz içindir. İçeriğimizle ilgili olarak, doğruluk ve güncellenmişlik dahil ancak bunlarla sınırlı olmamak üzere, hiçbir şekilde hiçbir garanti vermemekteyiz. Sağladığımız içeriğin hiçbir kısmı, herhangi bir amaç için özel bir güvene yönelik mali tavsiye, hukuki danışmanlık veya başka herhangi bir tavsiye formunu oluşturmaz. İçeriğimize herhangi bir kullanım veya güven, yalnızca kendi risk ve takdir yetkinizdedir. İçeriğinizi incelemeden önce kendi araştırmanızı yürütmeli, incelemeli, analiz etmeli ve doğrulamalısınız. Ticaret büyük kayıplara yol açabilecek yüksek riskli bir faaliyettir, bu nedenle herhangi bir karar vermeden önce mali danışmanınıza danışın. Sitemizde hiçbir içerik bir teklif veya teklif anlamına gelmez