Автор: @KOTELOV. Можно ли обмануть распознавание лиц? Сколько стоит технология и ее эксплуатация? Как защитить свои персональные данные? Готовы ли банки к атакам дипфейками? Это подкаст Kotelov digital finance — мы приглашаем экспертов из области финансовой разработки и обсуждаем сложные технические штуки на простом языке.

Говорим Александром Паркиным — руководителем в компании VisionLabs, экспертом в области компьютерного зрения. Через его руки прошли такие технологии, как оплата лицом в метро и биометрическая разблокировка банкоматов в Сбере.

Александр занимается тем, чтобы мошенники не могли пройти через турникет или войти в банковскую систему, подставив чужое лицо.

Говорим о системе распознавания лиц в финансовом секторе, как мошенники обманывают банковские системы и как можно защититься от этого обычным людям.

Ниже собрали самое важное из подкаста в формате статьи, но полную версию выпуска смотреть на YouTube.

Биометрическая безопасность

10 лет назад ни у кого не было учетной записи на госуслугах, а сейчас все разблокируют мобильное приложение с помощью FaceID. Уже сейчас можно удаленно с помощью биометрии открыть счет в банке или на криптобирже.

Банки, где еще не используется биометрия, работают значительно медленней, потому что процесс выглядит так:

Клиент звонит в банк → ожидает оператора → оператор подключается и просит его показать паспорт по видеосвязи → проверяет дополнительные данные → все это занимает около 15 минут

Внедрение биометрии сильно оптимизирует процесс, но увеличивает риск мошенничества с помощью дипфейков.

Сколько стоит распознавание лиц?

Если рассматривать весь процесс: самое тяжелое в этом пайплайне — распознавание лиц. Но при этом на CPU или телефоне оно занимает около 0,2 секунды. Почти моментально.

Проблема в том, что телефоны бывают разные. Чтобы время исполнения запроса не зависела от устройства — запрос отправляют на сервер и он обрабатывается там. То есть, добавляется время на отправку изображения на сервер, потом 0,2 секунды обработки и доставку обратно.

Какие продукты предоставляют VisionLabs по распознаванию?

• SDK

Простой набор из моделек, куда нужно просто засылать фотографии с конкретными запросами. Запросы могут быть: «определение лица» или «определение возраста по лицу».

• Платформа с дополнительными настройками

Этот продукт отдается клиентам и становится полностью автономным. VisionLabs настраивает его под определенные задачи бизнеса. Например, определение по фотографии, что человек на ней есть в конкретной базе внутри компании.

В таком варианте клиент платит за каждое распознавание.

Пример

Выдается терминал для кафе. Он может принимать оплату по карте и с помощью распознавания лица. Для распознавания требуется регистрация. Оплата происходит за каждое распознавание, как отдельный запрос.

Таким образом, бизнес настраивает систему лояльности не по карте, которую можно забыть или потерять, и даже не по номеру телефона, который долго вводить. Лояльность уже происходит по биометрии за те самые 0,2 секунды.

Насколько безопасно отдавать свою биометрию?

Иногда даже у крупных компаниях происходят утечки личных данных. Стоит ли отдавать данные своей биометрии ради призрачного комфорта и удобства при оплате?

Для того, чтобы понять, насколько защищены эти данные — давайте разберемся в процессе сбора биометрических данных. Этот процесс называется перемножение матриц.

Перемножение матриц

• Получаем изображение первый раз → на входе изображение → на выходе вектор вещественных цифр
• Получаем изображение второй раз → получаем на выходе такой же n-размерный вектор → если числовая расстояние между двумя векторами будет маленьким, то это и будет означать, что лица принадлежат одному и тому же человеку
• Полученный хэш мы отправляем в базу данных → в базе данных хранится защищенный контракт: фамилия, имя, отчество и этот, так называемый, дескриптор.

То есть, в базе данных хранится не ваша фотография, а код. Если кто-то сможет украсть эти данные, то у него не получится перевести этот вектор обратно в изображение.

Пример

Вася отправляет фотографию, она превращается в вектор и отправляется в базу данных. Когда Вася будет авторизоваться в следующий раз, по второму вектору мы определим, что это он. Но, если хакер выкрадет базу данных, то получит тысячи и миллионы векторов, которые не сможет никак использовать.

В итоге, система безопасна. Но, компании могут по своим причинам хранить фотографии. Например, чтобы при обновлении продукта — обновить все векторы и сделать их более точными. Для этого нужно сохранять фотографии в базу.

Как защитить свои персональные данные? Я не хочу, чтобы меня распознавали

То есть, что делать, чтобы ваши биометрические данные не скопировали?

К сожалению, ответ прост и сложен одновременно — нужно не попадать ни под какие объективы. Вы можете где-то оставить свои фотографии, а потом удалить их. Например, на страничке Вконтакте, но компания может показать, что удалила, а на самом деле сохранить личные данные в базе. Вы этого не узнаете.

Остается только в судебном порядке выуживать эти данные у всех, с кем вы когда-либо контактировали.

Но:

Есть вариант использования дополнительного шума, который немного исказит фотографию. Мы даже делали соревнования внутри VisionLabs: к изображению 1 нужно было добавить небольшой шум, чтобы расстояние между векторами было минимальным и алгоритм, несмотря на шум, посчитал изображения схожими.

Как мошенники обманывают системы распознавания?

• Есть три стандартных цели, которые мошенники пытаются достичь:
• Изображение для физического человека не поменялось вообще, а для нейросети изменилось колоссально.
• Человек понял, что там изображен кто-то другой, а нейросеть ничего не заподозрила. Это происходит в физическом мире, то есть держим телефон с камерой перед собой. У нас нет доступа к каналу между камерой и нейросетью.
• Дипфейки. Обман нейросети и человека одновременно. У нас есть доступ к каналу между камерой и нейросетью. О дипфейках мы написали отдельную статью — ее можно почитать по ссылке.

Очень долго в народе ходила фича с особой кофтой: детектор как бы не видел человека с этой кофтой. Мы проверили его через свою программу и все было нормально — человек отображался. Дело даже не в том, что у нас какой-то особый детектор — для обмана конкретной нейросети нужно сильно подготовится.

Для того, чтобы даже виртуально обмануть конкретную нейросеть нужно n-ное количество попыток. То есть, нужно подстраиваться под архитектуру и модель нейросети.

Если тот же дипфейк будет проверять другая нейросеть — скорее всего, обман сразу вскроется. Речь даже не идет о физическом плане, где свет может не так упасть, камера может запачкаться и еще много факторов, которые сведут на нет любой обман.

Итого: нет возможности защититься от распознавания лица ни в социальных сетях, ни в городе. Единственный способ — это инфракрасный спуффинг.

То есть, нужно носить на себе инфракрасные ленты или очки, которые будут включены. Обычные люди не будут этого видеть, но для камер и систем распознавания вы будете ярко светиться, мешая распознаванию.

Как еще можно распознать человека?

На данный момент почти невозможно распознать человека, если не видно его лицо. Самая важная часть — это глаза и область вокруг них. То есть, в хиджабе нейросеть вас тоже распознает.

Но по походке, силуэту или чему-то подобному нет.

Представим ситуацию как фильмах про спецагентов

Человек шел в зеленых штанах, синей кофте — камера распознала его. Потом он замотался, все лицо спрятал, но по той же одежде его можно будет распознать. Можно сделать трекинг между разными камерами, если между распознаванием прошел маленький промежуток времени. Но если, войти в толпу людей, которые выглядят так же ярко — распознать человека уже не получится.

Банки не готовы защитить деньги своих клиентов

На данный момент запросы бизнеса по защите не поспевают за инструментами мошенников. То есть, уже сейчас происходят аферы с использованием дипфейков, но банки не видят в этом глобальной проблемы, которую нужно срочно финансировать и развивать.

Мы решили углубиться в тему дипфейков и написали отдельную статью на эту тему — Дипфейки: зло или благо? Разбираемся со специалистом по распознаванию и компьютерному зрению.