Компания Google создала браузерную версию фреймворка MediaPipe, позволяющего создавать и выполнять модульные алгоритмы машинного обучения, сообщается в блоге Google Developers. Разработчики создали сайт, на котором можно опробовать несколько базовых алгоритмов компьютерного зрения.

За последнее десятилетие исследователи в области машинного обучения достигли огромного прогресса в этой области и их алгоритмы стали все чаще применяться на практике. Однако до сих пор распространение алгоритмов машинного обучение во многом сдерживается техническими проблемами, связанными с их применением.

Одна из ключевых проблем заключается в том, что многие алгоритмы, в том числе алгоритмы компьютерного зрения, требуют слишком больших ресурсов для работы в реальном времени на смартфонах и обычных компьютерах. Кроме того, как в других областях программирования, перед разработчиками встает вопрос переносимости их программ, повторного использования открытого кода и быстрого развертывания.

В 2019 году разработчики из Google создали фреймворк MediaPipe, который во многом решает эти проблемы. В нем разработчик может брать уже написанные другими программистами базовые алгоритмы компьютерного зрения и простым образом объединять их в нужный ему конвейер. Кроме того, фреймворк изначально создавался с расчетом на то, что программы должны без проблем развертываться на все основные платформы, без необходимости в адаптации под каждую из них в отдельности.

Авторы постарались оптимизировать код для работы на обычных пользовательских устройствах. В качестве примера они ранее показали демо-версию приложения для смартфонов, которое в реальном времени создает модель руки, что может пригодиться для качественного распознавания жестов пальцами с помощью камеры.

Теперь разработчики MediaPipe создали браузерную версию фреймворка, позволяющую запускать почти на любой платформе без необходимости в установке приложения.