Швейцарские и американские разработчики создали нейросеть, позволяющую использовать событийную камеру для синтеза полноценного качественного видео.

Исследователи показали, что алгоритм способен создавать ролики с частотой в несколько тысяч кадров в секунду и крайне высоким динамическим диапазоном, а также превращать исходные монохромные кадры в цветные. Посвященная алгоритму статья опубликована на arXiv.org.

В последние несколько лет событийные камеры привлекли внимание большого количестве инженеров и исследователей. Принцип работы таких датчиков значительно отличается от принципа работы КМОП и других матриц, применяемых в современных серийно выпускаемых камерах.

Обычные камеры при съемке видео собирают информацию через равные промежутки времени, «опрашивая» сразу все пиксели (на самом деле этот процесс происходит не мгновенно, из-за чего при съемке в движении зачастую возникает небольшое характерное искажение), и записывая показания интенсивности света, полученные за этот промежуток.

Событийные камеры записывают показания пикселей асинхронно и только тогда, когда на них происходит событие — изменение яркости (увеличение или уменьшение) на пороговую величину.