Исследователи из Университета Уорика вместе с коллегами из Имперского колледжа Лондона и лабораторией Sciteb нашли математическое решение, которое поможет банковскому и финансовому сектору контролировать систему искусственного интеллекта (ИИ) от принятия потенциально дорогостоящих и коммерческий невыгодных решений.

Информация о работе появилась в журнале Royal Society Open Science.

У ИИ есть огромное количество потенциальных стратегий, из которых система выбирает одно верное. Также в этом пуле существуют потенциально опасные алгоритмы, которые могут повлечь за собой излишние издержки и даже штрафы. Неправильный выбор ИИ может привести даже к бойкоту от потенциальных клиентов, если они узнают причину ошибки.

Таким образом, в условиях, когда решения все чаще принимает ИИ без вмешательства человека, существует глобальная причина выяснить, при каких обстоятельствах система даст сбой или сделает неправильный выбор, чтобы полностью исключить этот риск.

Математики вводят такое понятие, как «неэтичный принцип оптимизации» (Unethical Optimization Principle), и высчитывают формулу для оценки его воздействия.

Предложенный нами «неэтичный принцип оптимизации» может быть использован для того, чтобы помочь регуляторам, сотрудникам компаний и другим найти проблемные алгоритмы, которые могут быть скрыты для большим количеством альтернативных решений. Можно ожидать, что в будущем процесс оптимизации столкнется с нелогичными и неверными стратегиями своих систем. Наша проверка должна показать, где может возникнуть потенциальная ошибка в системе.  – Роберт Маккей из Математического университета Уорика/

Маккей также добавил, что новая проверка, возможно, заставит переосмыслить работу ИИ в больших стратегических пространствах.