Следить за мыслью искусственного интеллекта помогает статистический подход

Исследователи из IBM Research U.K., Военной Академии США и Кардиффского университета (Великобритания) разработали технику, призванную улучшить понимание того, как алгоритмы машинного обучения приходят к своим выводам. Их статья была опубликована в цифровой библиотеке SPIE.

«Сегодня решения, принимаемые многими системами машинного обучения, необъяснимы, — говорит соавтор статьи, Юджин Ли (Eunjin Lee), специалист по новым технологиям в IBM Research U.K. — Мы верим, что ИИ и машинное обучение могут поддержать и дополнить принятие решений людьми, но необходимо также понимать, как они это делают».

Local Interpretable Model Agnostic Explanations (LIME) это наиболее популярная сейчас методика объяснения, она применима ко многим моделям машинного обучения, но часто даёт ненадёжные и нестабильные результаты. Вместо того, чтобы изобретать принципиально новый метод, Ли и её коллеги предпочли выявить механизмы, способные улучшить эффективность LIME.

В поисках причин нестабильности учёные протестировали LIME на своих массиве данных и модели машинного обучения. Они обнаружили, что генерируемые методом изображения действительно выглядят «визуально нестабильными», однако усреднение по многочисленным прогонам теста улучшает достоверность метода.

«Как это часто бывает с динамическими системами, подобными тем, что мы исследовали, иногда полезно провести многочисленные тесты и исследовать средние значения, — сказала Ли. — Применяя этот подход, мы поняли, что стабильность объяснений действительно улучшилась при рассмотрении усреднённых значений и стандартных отклонений по нескольким прогонам».

Ли и её коллеги тренировали свёрточную нейронную сеть (CNN) на двух классах изображений. Они установили, что чувствительность LIME улучшалась когда несколько исходящих весовых коэффициентов для индивидуальных изображений усредняли и визуализировали.

«Хотя предполагаемая нестабильность подтверждена, имеются и способы решить эту проблему. Они сопряжены с дополнительными вычислительными затратами, например, из-за многократного выполнения объяснения, то есть, генерирование объяснения будет занимать у пользователя больше времени», — сообщила Ли.

Дальнейшие исследования а этой области помогут найти более продвинутые численные методы, способные обеспечить дальнейшее улучшение стабильности LIME и других подобных техник объяснения, а также уменьшение дополнительных вычислительных расходов.

Пожалуйста, оцените статью:
Пока нет голосов
Источник(и):

Компьютерное обозрение