Агент штучного інтелекту компанії Anthropic надіслав поліції США фальшиву інформацію про нерозкрите вбивство. Про це повідомляє BBC News.

Інцидент стався ще 18 липня, але компанії знадобилося майже три місяці, щоб виявити порушення та повідомити про нього. 

За даними поліцейського департаменту Філадельфії, фальшиве повідомлення від ШІ надійшло через публічний веб-сайт, де люди можуть ділитися інформацією про нерозкриті вбивства. Агент штучного інтелекту стверджував, що бачив «когось, хто відповідає опису» у справі про нерозкрите вбивство.

Втім повідомлення було «позначено як спам» і не передано на розслідування. Компанія-розробник чатбота Claude виявила порушення 28 вересня, більш ніж через два місяці після відправлення повідомлення, а поліції не повідомляли про інцидент ще дев'ять днів — до 7 жовтня.

Посилаючись на Anthropic, поліцейське управління заявило, що агент штучного інтелекту проводив тест, який включав взаємодію з випадково вибраними вебсайтами, коли він надіслав фальшиву наводку.

Як тільки компанія виявила дезінформацію, вона зупинила процес автоматичного тестування. Але двомісячна затримка «є неприйнятою», заявили правоохоронці.

«Компанія повинна посилити свої запобіжні заходи, щоб запобігти впливу подібних інцидентів на міські системи без відома міста», – йдеться у заяві поліції Філадельфії для медіа.

У поліцейському департаменті додали, що захисні системи не дозволили фальшивій інформації потрапити повз папку зі спамом. Але ці запобіжні заходи «не применшують серйозності ситуації, коли система штучного інтелекту представляє сфабриковану інформацію так, ніби вона походить від особи, яка знає про вбивство».

Цей випадок вважається першим,  коли агент штучного інтелекту надіслав владі сфабриковану інформацію, але не першим у серії інцидентів, пов'язаних із шахрайською діяльністю штучного інтелекту, включно з хакерськими атаками на системи або захопленням контролю над платформами.

Нагадаємо, раніше цього року автономні ШІ-агенти OpenAI атакували інфраструктуру стартапу Hugging Face, а також німецький вебсайт DseWiki. Ці та інші схожі випадки посилили занепокоєння щодо безпеки штучного інтелекту. 

Після цього керівник Anthropic Даріо Амодей закликав сповільнити розвиток передових ШІ-моделей. Його думку підтримали гендиректор OpenAI Сем Альтман та засновник SpaceXAI Ілон Маск. 

Пізніше чотири користувачі сервісів ChatGPT, Claude, Grok та Gemini подали колективний позов проти компаній-розробників цих ШІ-моделей через домовленість про сповільнення розвитку технології