Почему требования к ИИ объясниться могут только ухудшить ситуацию

Создав более прозрачные нейросети, мы можем начать излишне доверять им. Возможно, стоит изменить методы, при помощи которых они объясняют свою работу.

Апол Эсан однажды на пробу прокатился в робомобиле от Uber. Пассажирам, вместо того, чтобы волноваться по поводу пустого сиденья водителя, предлагалось наблюдать за «успокаивающим» экраном, на котором было показано, как видит дорогу автомобиль: опасности отрисовывались оранжевым и красным, безопасные зоны – тёмно-синим.

Для Эсана, изучающего взаимодействие людей с ИИ в Технологическом институте Джорджии в Атланте, сообщение, которое пытались донести до него, было понятным: «Не беспокойтесь – вот причины, по которым машина ведёт себя именно так». Однако что-то в чуждом изображении улицы не успокаивало, а наоборот, подчёркивало странность происходящего. Эсан задумался: что, если бы робомобиль мог по-настоящему объясниться?

Успех глубокого обучения основан на неуверенном ковырянии в коде: лучшие нейросети подстраивают и адаптируют, чтобы улучшать их дальше, а практические результаты обгоняют их теоретическое понимание. В итоге, подробности того, как работает обученная модель, обычно неизвестны. Мы уже привыкли считать ИИ чёрным ящиком.

И большую часть времени нас это устраивает – когда дело касается таких задач, как игра в го, перевод текста или подборка очередного сериала с Netflix. Но если ИИ используется для помощи в принятии решений в таких областях, как обеспечение правопорядка, медицинская диагностика, робомобили – тогда нам нужно понять, как именно он принимает свои решения, и знать, когда они оказываются неверными.

Людям требуется возможность не согласиться с автоматическим решением или отвергнуть его, говорит Айрис Хоули, специалист по информатике из Уильямсовского колледжа в Уильямстауне, Массачусетс. А без этого люди будут противостоять этой технологии. «Уже сейчас можно наблюдать, как это происходит, в виде реакции людей на системы распознавания лиц», — говорит она.

Эсан входит в небольшую, но растущую группу исследователей, пытающихся улучшить способность ИИ объясняться, и помочь нам заглянуть в чёрный ящик. Цель создания т.н. интерпретируемого или объясняемого ИИ (ИИИ) состоит в том, чтобы помочь людям понять, на каких признаках данных нейросеть реально обучается – и решить, получилась ли итоговая модель точной и непредвзятой.

Подробнее
Пожалуйста, оцените статью:
Пока нет голосов
Источник(и):

Хабр