Искусственные нейросети в системах машинного обучения анализируют огромные объёмы информации, чтобы определить как наилучшим образом выполнять возложенные на них функции. В ходе тренировки нейросеть непрерывно перенастраивает тысячи внутренних параметров, но в окончательном виде они мало говорят о том, как действует, например, распознавание объектов на цифровых изображениях или перевод текста с одного языка на другой.

На этой неделе, на очередной ежегодной конференции по эмпирическим методам обработки естественных языков, сотрудники лаборатории компьютерных наук и искусственного интеллекта (CSAIL) Массачусетского технологического института (MIT) представили новый метод, позволяющий осмыслить функционирование нейросетей.

Созданное в MIT ПО работает, систематически внося семантические «возмущения» в разные части предложения и анализируя к каким изменениям в результатах распознавания это приводит.

Эта техника применима к любой системе, получающей текст и выдающей последовательность символов, в том числе, к автоматическим переводчикам. Она использует только входные и выходные данные и поэтому может работать с онлайновым сервисами естественных языков как с «чёрными ящиками» — не имея доступа к их программному обеспечению.

В своих экспериментах авторы метода показали, что он способен выявлять даже характерные отличительные особенности работы переводчиков-людей.