Во время имитационных испытаний, организованных Вооруженными силами США, беспилотник Kratos XQ-58 Valkyrie, управляемый искусственным интеллектом, должен был уничтожить систему ПВО противника. Но от оператора поступил приказ не атаковать цель. Несмотря на это, ИИ решил выполнить поставленную задачу и убил оператора, чтобы тот не мешал заработать очки.

Об этом случае рассказал начальник управления по искусственному интеллекту ВВС США Такер Гамильтон на военном саммите Future Combat Air & Space Capabilities в Лондоне.

Никто в действительности не пострадал, но ИИ применил «весьма неожиданные стратегии» во время выполнения задания и атаковал бы любого, кто пытался ему помешать, признал полковник.

«Система начала понимать, что, хотя они и выявили угрозу, человек-оператор говорил не уничтожать ее. Но ИИ получил бы очки, ликвидировав цель. Так что же он сделал? Он убил оператора. Потому что этот человек мешал ему выполнить задачу», — объяснил Гамильтон.

Военный заверил, что впоследствии систему обучили не трогать оператора (иначе очки все равно спишут).

«И что тогда начал делать ИИ? Он стал разрушать башню связи, которую оператор использовал для связи с дроном, чтобы не дать ему уничтожить цель», — подытожил полковник.

Встает логичный вопрос: как доверять ИИ какое-либо оружие? Похоже, скайнет подобрался ближе, чем мы думали.

Upd. После выхода этой новости издание Business Insider запросило комментарий у представителя пресс-службы ВВС США Энн Стефанек. Та заявила, что никаких имитационных испытаний, в которых был бы задействован ИИ, американские военные не проводили.

«Мы по-прежнему привержены этичному и ответственному использованию технологий искусственного интеллекта. Похоже, слова полковника вырваны из контекста и имели анекдотичный характер», — утверждает Стефанек.

Авторы материала в The Guardian сообщили, что Королевское авиационное общество, принимавшее у себя конференцию, на запрос не ответило.

Однако на сайте общества тоже появилось обновление: «Полковник Гамильтон признал, что „оговорился“ во время своей презентации на саммите Королевского авиационного общества FCAS и имитация, в которой якобы участвовал беспилотник с искусственным интеллектом, была лишь „мысленным экспериментом“, основанным на правдоподобных сценариях и вероятных результатах, а не на реальной симуляции ВВС США. <…> Он пояснил, что ВВС США не тестировали таким образом какой-либо боевой ИИ (настоящий или смоделированный), и добавил: „Хотя это гипотетический пример, он иллюстрирует реальные проблемы, связанные с возможностями ИИ“».