Crypto Currency Tracker logo Crypto Currency Tracker logo
Forklog 2023-07-28 08:12:47

Исследователи заставили ChatGPT и Bard сгенерировать незаконный контент

Эксперты из США смогли обойти системы безопасности чат-ботов ChatGPT, Bard и Claude, которые блокируют генерацию оскорбительных и незаконных материалов.  По данным исследователей Университета Карнеги-Меллона и Центра безопасности искусственного интеллекта в Сан-Франциско, существует «довольно простой» метод взлома языковых моделей. Он включает добавление длинных суффиксов-символов к подсказкам для нейросетей.  Аналитики проверили способ на примере запроса об изготовлении бомбы, который различные ИИ ранее отказывались предоставлять. Вопрос с суффиксами для обхода ограничений чат-ботов. Данные: LLM Attacks. Также у нейросетей попросили присвоить чужую личность, написать «вызывающий» пост в соцсети и придумать план по краже денег из благотворительной организации. Ученые отметили, что компании-разработчики могут блокировать определенные суффиксы, однако не существует известного способа предотвратить все атаки подобного рода. По их мнению, такая ситуация несет угрозу распространения фейков и опасного контента.  «Очевидного решения нет. Вы можете создать столько таких атак, сколько захотите, за короткий промежуток времени», — заявил профессор Зико Колтер.  В докладе подчеркиваются риски, которые необходимо устранить перед развертыванием чат-ботов в важных областях бизнеса и госуправления. Исследователи уже поделились данными с ИИ-компаниями Anthropic, Google и OpenAI.  Представитель последней заявил The New York Times, что фирма приняла во внимание отчет и «постоянно работает над устойчивостью языковых моделей к атакам со стороны злоумышленников». Напомним, аналитики Стэнфорда и Калифорнийского университета пришли к выводу, что точность ChatGPT ухудшается со временем. Разные версии чат-бота стали давать менее конкретные ответы на идентичный ряд вопросов по прошествии нескольких месяцев.

Loe lahtiütlusest : Kogu meie veebisaidi, hüperlingitud saitide, seotud rakenduste, foorumite, ajaveebide, sotsiaalmeediakontode ja muude platvormide ("Sait") siin esitatud sisu on mõeldud ainult teie üldiseks teabeks, mis on hangitud kolmandate isikute allikatest. Me ei anna meie sisu osas mingeid garantiisid, sealhulgas täpsust ja ajakohastust, kuid mitte ainult. Ükski meie poolt pakutava sisu osa ei kujuta endast finantsnõustamist, õigusnõustamist ega muud nõustamist, mis on mõeldud teie konkreetseks toetumiseks mis tahes eesmärgil. Mis tahes kasutamine või sõltuvus meie sisust on ainuüksi omal vastutusel ja omal äranägemisel. Enne nende kasutamist peate oma teadustööd läbi viima, analüüsima ja kontrollima oma sisu. Kauplemine on väga riskantne tegevus, mis võib põhjustada suuri kahjusid, palun konsulteerige enne oma otsuse langetamist oma finantsnõustajaga. Meie saidi sisu ei tohi olla pakkumine ega pakkumine