Crypto Currency Tracker logo Crypto Currency Tracker logo
Forklog 2023-07-28 08:12:47

Исследователи заставили ChatGPT и Bard сгенерировать незаконный контент

Эксперты из США смогли обойти системы безопасности чат-ботов ChatGPT, Bard и Claude, которые блокируют генерацию оскорбительных и незаконных материалов.  По данным исследователей Университета Карнеги-Меллона и Центра безопасности искусственного интеллекта в Сан-Франциско, существует «довольно простой» метод взлома языковых моделей. Он включает добавление длинных суффиксов-символов к подсказкам для нейросетей.  Аналитики проверили способ на примере запроса об изготовлении бомбы, который различные ИИ ранее отказывались предоставлять. Вопрос с суффиксами для обхода ограничений чат-ботов. Данные: LLM Attacks. Также у нейросетей попросили присвоить чужую личность, написать «вызывающий» пост в соцсети и придумать план по краже денег из благотворительной организации. Ученые отметили, что компании-разработчики могут блокировать определенные суффиксы, однако не существует известного способа предотвратить все атаки подобного рода. По их мнению, такая ситуация несет угрозу распространения фейков и опасного контента.  «Очевидного решения нет. Вы можете создать столько таких атак, сколько захотите, за короткий промежуток времени», — заявил профессор Зико Колтер.  В докладе подчеркиваются риски, которые необходимо устранить перед развертыванием чат-ботов в важных областях бизнеса и госуправления. Исследователи уже поделились данными с ИИ-компаниями Anthropic, Google и OpenAI.  Представитель последней заявил The New York Times, что фирма приняла во внимание отчет и «постоянно работает над устойчивостью языковых моделей к атакам со стороны злоумышленников». Напомним, аналитики Стэнфорда и Калифорнийского университета пришли к выводу, что точность ChatGPT ухудшается со временем. Разные версии чат-бота стали давать менее конкретные ответы на идентичный ряд вопросов по прошествии нескольких месяцев.

면책 조항 읽기 : 본 웹 사이트, 하이퍼 링크 사이트, 관련 응용 프로그램, 포럼, 블로그, 소셜 미디어 계정 및 기타 플랫폼 (이하 "사이트")에 제공된 모든 콘텐츠는 제 3 자 출처에서 구입 한 일반적인 정보 용입니다. 우리는 정확성과 업데이트 성을 포함하여 우리의 콘텐츠와 관련하여 어떠한 종류의 보증도하지 않습니다. 우리가 제공하는 컨텐츠의 어떤 부분도 금융 조언, 법률 자문 또는 기타 용도에 대한 귀하의 특정 신뢰를위한 다른 형태의 조언을 구성하지 않습니다. 당사 콘텐츠의 사용 또는 의존은 전적으로 귀하의 책임과 재량에 달려 있습니다. 당신은 그들에게 의존하기 전에 우리 자신의 연구를 수행하고, 검토하고, 분석하고, 검증해야합니다. 거래는 큰 손실로 이어질 수있는 매우 위험한 활동이므로 결정을 내리기 전에 재무 고문에게 문의하십시오. 본 사이트의 어떠한 콘텐츠도 모집 또는 제공을 목적으로하지 않습니다.