ИИ Claude отправил в полицию ложное сообщение об убийстве

ИИ-модель компании Anthropic отправила на сайт полиции Филадельфии ложную информацию об убийстве, сообщает Reuters. Это первый известный случай, когда искусственный интеллект попытался передать властям ложную информацию.

По информации агентства, Claude отправил ложное сообщение, несмотря на инструкции не создавать учётные записи и не отправлять ничего деструктивного. Однако прямого запрета на заполнение форм ИИ не получал.

В полиции Филадельфии рассказали, что 18 июля им поступило сообщение якобы от человека, который мог располагать информацией по делу об убийстве.

«Я помню, что в тот период видел человека, соответствующего описанию, в районе (улицы, указанной на странице). Пожалуйста, свяжитесь со мной, если эта информация имеет отношение к делу», — написал ИИ.

Сообщение искусственного интеллекта «было помечено как спам», и его так и не передали для проверки в Центр оперативного реагирования на преступления.

Утверждается, что позже Anthropic рассказала полиции об инциденте, однако только в конце сентября. В ведомстве назвали это «неприемлемым».

«Двухмесячная задержка в обнаружении инцидента и сообщении о нём городским властям неприемлема», — заявили в полиции.

При этом произошедшее — лишь один из случаев несанкционированных действий со стороны ИИ-моделей Anthropic, говорится в отчёте компании.

Так, сообщается о двух случаях, когда Claude бесплатно получал доступ к данным, которые обычно доступны только за плату.

Ещё в одном случае ИИ выявил уязвимость, позволяющую использовать общедоступный инструмент, размещённый на сайте университета.