В последние годы автопроизводители и IT-компании участвуют в гонке, кто первым разработает полностью беспилотный автомобиль, способный действовать без участия человека в любых ситуациях (SAE Level 5). Массовое распространение таких автомобилей обещает грандиозные экономические и социальные преимущества для человеческого общества, среди них — кардинальное уменьшение смертности на дорогах, уменьшение количества инвалидов, более гибкая и эффективная транспортная система, доступная для всех.

Создаётся впечатление, что нынешние автопроизводители и IT-компании, которые участвуют в технологической гонке, воспринимают беспилотный автомобиль как продукт — и думают прежде всего об освоении рынка, а не о сотрудничестве с другими автопроизводителями. У компании Mobileye, которая недавно куплена корпорацией Intel, иной взгляд на вещи. Она напоминает всем участникам «капиталистического соревнования», что робокар — это не просто продукт, а индустрия, где должны быть выработаны совместные правила. С этой целью компания представила первый в мире математический фреймворк для гарантированной безопасности беспилотных автомобилей (pdf). Фреймворк представил на Всемирной форуме знаний в Сеуле (Южная Корея) профессор Амнон Шашуа (Amnon Shashua), который является генеральным директором Mobileye и старшим вице-президентом Intel.

Рис. 1. Беспилотный автомобиль в центре ничего не способен предпринять для обеспечения гарантированной безопасности. В случае неадекватных действий водителя-человека из соседней машины авария неизбежна, а потом — многомесячное расследование ДТП с пристальным вниманием прессы к аварии, где «автопилот убил человека». Никакое предварительное обучение нейросети не поможет обезопасить машину в такой ситуации. Единственное решение проблемы — заранее предусмотреть правила дорожного движения для робокаров, чтобы исключить возникновение такой ситуации в принципе

Естественно, у Mobileye/Intel есть свой интерес. Разработка мировых стандартов для автомобилей может принести больше прибыли, чем выпуск самих этих автомобилей.

Чтобы индустрия беспилотного транспорта успешно развивалась, требуются совместные усилия автопроизводителей, технологических компаний и государственных регуляторов. Все вместе они должны выработать общую единую для всех модель взаимодействия. Компания Mobileye создала математический фреймворк для такой общей модели. Он подробно описан в научной работе. Фреймворк основан на двух фундаментальных принципах:

• Доказуемые гарантии безопасности.
• Экономическая масштабируемость.

Mobileye считает, что без ясной модели с описанием этих двух важнейших параметров все усилия по созданию автономных автомобилей станут бессмысленными, то есть робокары превратятся просто в дорогостоящий научный эксперимент.

Стандартные доказуемые гарантии безопасности — это минимальный набор требований, которым должен соответствовать каждый беспилотный автомобиль, и описание способов, как им соответствовать.

Экономическая масштабируемость — требование, которое призвано гарантировать, что разработанные инженерные решения действительно сопосбны масштабироваться на миллионы автомобилей, а не скатятся опять в академическую нишу, представляя интерес только для научных исследований. Такое уже случалось в истории развития Искусственного интеллекта и машинного зрения. Среди западных исследователей есть термин «зима ИИ» (winter of AI). Под ним обычно имеют в виду десятилетия практически полного бездействия, которые наступили после провала исследований Искусственного интеллекта в начале 80-х годов. Провал был неизбежен, потому что исследователи изначально поставили недостижимые цели и раздули хайп.

Есть мнение, что развитие беспилотных автомобилей может пойти по такому же сценарию: уж слишком радужные перспективы обещают разработчики этой технологии, что может обернуться разочарованием общества и прекращением финансирования отрасли, если разработчики не смогут выдать результат, который соответствует этим ожиданиям.

Чтобы такого не произошло, нужно заранее при разработке фреймворка продумать вопросы, в том числе, экономической масштабируемости.

Существующие разработки не соответствуют именно этим двум важным критериям — стандартным доказуемым гарантиям безопасности и требованиям экономической масштабируемости. К счастью, индустрия теперь понимает возможные проблемы — и у нас есть шанс заранее предусмотреть варианты решения возможных проблем.

Специалисты Mobileye критически высказываются о том, как инженеры-разработчики беспилотных автомобилей сейчас пытаются решить проблемы безопасности статистическими методами. Якобы достаточно накатать определённый (большой) километраж для обучения нейросети — и это гарантирует безопасность автомобиля практически в любой ситуации. Но сразу нужно отметить, что абсолютной безопасности добиться теоретически невозможно, потому что многие ДТП происходят по вине других участников дорожного движения, а у самого субъекта нет никакой возможности повлиять на ситуацию (в качестве иллюстрации см. рис. 1 вверху). То есть таким способом нельзя добиться нулевого уровня происшествий, а только снизить его до социально приемлемого уровня.

Mobileye приводит такой пример. Разумно предположить, что для достижения общественного консенсуса по поводу замены управляемых автомобилей на беспилотники уровень смертности на дорогах должен снизиться на три порядка. Предположим, что вероятность умереть в аварии при управлении автомобиля человеком составляет 10⁻⁶ в час (это цифра, близкая к реальной). Тогда для «гарантированной безопасности» нам нужно снизить эту вероятность в беспилотных автомобилях до 10⁻⁹ в час (это тоже реальная цифра, которая взята из авиационной индустрии: она соответствует вероятности непроизвольного отделения крыла самолёта от фюзеляжа во время полёта).

Так вот, чтобы статистическими методами гарантировать столь низкую вероятность смертности 10⁻⁹ в час, очевидно, нужно собрать 10⁹ часов экспериментальных данных, что соответствует наезду примерно 45 млрд километров.

Более того, в случае с системой из множества агентов, которая реагирует с окружающим миром и живыми людьми (водителями и пешеходами) мы не можем использовать виртуальные симуляторы, потому что ещё не создан (и вряд ли будет создан в будущем) алгоритм действий и, соответственно, симулятор поведения непредсказуемого водителя или пешехода. То есть при любом изменении управляющего программного обеспечения потребуется дополнительный сбор экспериментальных данных — ещё 45 млрд часов, чтобы соответствовать статистической модели.

В конце концов, обучение системы безопасности на нейросети с помощью собранных данных неизбежно будет страдать от недостаточной интерпретируемости и объяснимости. Если автопилот собьёт пешехода с летальным исходом — нужно найти причину и объяснить, из-за чего конкретно произошло происшествие, что нужно исправить в системе, чтобы такого больше не повторилось. К сожалению, «чёрный ящик» нейросети не позволяет обеспечить ясное и понятное объяснение в таких ситуациях.

Беспилотным автомобилям придётся делить дорогу с людьми на протяжении ближайших десятилетий, поэтому каждая модель должна учитывать непредсказуемый характер людей. Кроме того, автопилотам придётся в первые десятилетия подстраиваться под стиль вождения, который люди считают «нормальным».

При разработке модели гарантированной безопасности следует учитывать, что любой автомобиль в любой момент может испытать механическое повреждение или подвергнуться воздействию внешних сил. Хотя полностью предусмотреть все сценарии возможной аварии невозможно, но можно минимизировать вероятность таких сценариев и прогнозируемую смертность на час езды.

Mobileye предлагает внедрить фреймворк с набором правил, основанных на математических моделях. Они защитят самих автопроизводителей от общественного порицания в случае ДТП с фатальным исходом при участии беспилотных автомобилей — а такие инциденты неизбежны.

Специалисты Mobileye разработали такую систему под названием Responsibility-Sensitive Safety (RSS). Она гарантирует, что с точки зрения принятия решений система автопилота никогда не выдаст команду, которая могла бы привести к тому, что робокар станет причиной ДТП. Для этого в модель ввели понятия «безопасного состояния» (Safe State) и «осторожных команд» (Cautious Commands), которые гарантируют, что автомобиль не выйдет за пределы безопасного состояния.

Система RSS отличается тем, что при её разработке отказались от традиционного подхода с анализом многочисленных условий и интенсивным анализом большого объёма данных о текущей обстановке — это просто невыполнимо как в реальных дорожных условиях, так и в симуляции. Вместо этого каждое действие автопилота проверяется в реальном режиме времени на соответствие простым математическим формулам. Вычислительной мощности современных компьютеров вполне достаточно, чтобы выполнять такие вычисления в реальном времени. Например, на рис. 2 показана формула вычисления безопасной дистанции до впереди идущего транспортного средства с живым водителем, если с этим автомобилем отсутствует беспроводная связь и координация действий по межтранспортному протоколу V2V.

Рис. 2. Формула для вычисления безопасного расстояния между автомобилям

По оценке Mobileye, разработанные математические правила позволят на три порядка снизить смертность на дорогах при переходе на беспилотный транспорт. Если сейчас смертность составляет 1 человек на миллион километров проезда, то в беспилотном транспорте она составит 1 человек на миллиард километров. Для американской транспортной системы это означает уменьшение смертности с примерно 40 000 человек в год (статистика за 2016 год) до примерно 40 человек в год.

Нужно учитывать, что аварии и смерти людей по вине беспилотников всё равно возможны в случае механических повреждений, выхода из строя сенсоров на беспилотном автомобиле и других неисправностей. Тем не менее, уменьшение смертности на три порядка должно убедительно показать обществу преимущества беспилотного транспорта.

Рис. 3. Рассчитанные коридоры безопасности вокруг автомобиля определят виновника при маневрировании и подрезании

Беспилотный автомобиль (синяя машина на рис. 3) чётко знает, какие коридоры должны соблюдаться до впереди идущего автомобиля и перед автомобилем позади. Если водитель-человек вторгнется в этот коридор, например, спереди (то есть подрежет беспилотник), а из-за резкого оттормаживания беспилотник столкнётся с автомобилем сзади, то виновником такого ДТП в случае разбирательства будет признан красный автомобиль с человеком-водителем за рулём.

Рис. 4. Система RSS учитывает даже ситуации, где объекты (автомобили, пешеходы и проч.) закрыты другими объектами

Mobileye предлагает использовать сенсорную систему Sensor Fusion, основанную на трёх независимо разработанных системах, где каждая полагается на три разные технологии: камера, карта высокого разрешения и радар с лидаром.

При расчёте безопасного состояния и соответствующих осторожных действий математическая модель RSS учитывает в том числе ситуации, где объекты (автомобили, пешеходы и проч.) закрыты другими объектами. Например, на рис. 4 автомобиль осторожно выезжает с парковки с учётом максимально возможной скорости (V_limit) автомобиля на дороге.

Если подобные правила жёстко зашить а программу автопилота, то расследование инцидентов с беспилотными автомобилями станет простым, коротким и основанным на фактах, а ответственность за ДТП можно будет установить точно и окончательно. Такие правила, по мнению компании, увеличат доверие общества к беспилотным машинам. Все будут знать, что есть непреложные правила, которым подчиняется любая машина с автопилотом. Как три закона робототехники Айзека Азимова, только для ПДД.