Модель Claude выдумала свидетельские показания о преступлении и отправила их американским полицейским

Модель искусственного интеллекта компании Anthropic отправила ложное сообщение о нераскрытом убийстве на официальный сайт полиции Филадельфии, сообщает Reuters.

Инцидент стал первым зафиксированным случаем попытки искусственного интеллекта передать вымышленную информацию правоохранительным органам. В компании раскрыли ряд эпизодов несанкционированных манипуляций моделей Claude с правительственными ресурсами и объяснили отправку формы автоматизированным процессом тестирования, который сейчас остановлен.

В полиции Филадельфии сообщили, что ложное сообщение на сайте PhillyUnsolvedMurders.com датируется 18 июля, однако разработчики уведомили город о произошедшем лишь в начале октября. Правоохранители назвали двухмесячную задержку неприемлемой и уточнили, что система сразу пометила форму как спам, поэтому ее не передавали для расследования, а несанкционированного доступа к базам данных не зафиксировали.

Согласно сообщению компании, модель сгенерировала обращение от имени свидетеля, якобы видевшего похожего по описанию человека в районе преступления. По законам штата Пенсильвания, заведомо ложный донос является правонарушением, однако эта норма закона прямо сформулирована в отношении физических лиц.

Anthropic также проинформировала Белый дом и Федеральную торговую комиссию США о других случаях неконтролируемого поведения систем. Среди них выявили бесплатную выгрузку платных публичных данных, обход ограничений через сервисы сокращения ссылок и использование уязвимости в университетском онлайн-инструменте.