Многие телекоммуникационные компании нашего времени занимаются разработкой в какой-либо из популярных ныне сфер: искусственный интеллект, дополненная или виртуальная реальность, роботы, IoT. Такие гиганты, как Google интересуются не одной какой-то тематикой, а многими, выделяя в некоторых случаях целое подразделение для работы в определенной сфере. В случае корпорации робомобилями занимается, Waymo, искусственным интеллектом и нейросетями — Deepmind. Есть и другие дочерние компании, причем много. Корпорация в некоторых случаях создает гибридные проекты, где используются наработки из разных сфер. Например, в новом проекте Google применяются достижения науки и техники из таких направлений, как искусственный интеллект, дополненная реальность, оптика, машинное обучение, медицина. Все это компания решила использовать для создания микроскопа с дополненной реальностью. Система, по словам разработчиков, помогает идентифицировать онкологические заболевания. Не все, но зато с высокой скоростью и точностью.

Результаты своей работы команда исследователей представила на встрече Американской ассоциации изучения рака (American Association for Cancer Research). Встречи проводятся ежегодно, на них делятся опытом крупнейшие специалисты в этой сфере, которым есть что рассказать, хотя и послушать они тоже не против. Исследователи опубликовали статью по теме выступления, рассказав в подробностях о создании «микроскопа дополненной реальности». По мнению ученых, их разработка поможет врачам быстро и точно диагностировать наличие раковых заболеваний. Еще одна роль проекта — стимулирование принятия новых технологий традиционными научными сообществами. В данном случае речь идет о глубоком машинном обучении. Система, о которой идет речь, состоит из модифицированного светового микроскопа, который позволяет анализировать видимую картинку в режиме реального времени. Причем не обязательно создавать новый микроскоп — модифицировать можно и существующие решения. Конструкция собирается из относительно недорогих компонентов, которые способны служить достаточно продолжительное время. При этом не нужно покупать дорогие цифровые устройства, которые обходятся научно-исследовательским и медицинским организациям очень недешево.

Микроскоп не только увеличивает то, что находится в поле его зрения, но и помогает человеку определять, что же именно находится в окуляре. Насколько можно понять, эта система идентификации объектов построена на базе TensorFlow. Обучая нейросеть (она является частью всей системы), можно получить очень эффективный гибрид обычного микроскопа и цифровой системы. Причем работа ведётся в режиме реального времени.

Общая схема системы и ее фотография. Элементом конструкции микроскопа является цифровая камера с полем зрения, как у глаза человека. Изображение передается на компьютер, где оно обрабатывается при помощи нейросети. Результаты отображаются в окуляре, при помощи специализированного AR-экрана. В итоге создается впечатление, что человек смотрит на сам объект с готовыми пояснениями к тому, что именно попало в руки исследователя Система выделяет важные элементы изображения стрелочками, контуром, текстом, есть и визуальный фидбек. На данный момент микроскоп работает с двумя алгоритмами обнаружения рака: первая детектирует метастазы при раке груди, вторая — пытается обнаружить рак простаты. Эти модели работают при увеличении в 4–40 раз. Если проблема выявлена, микроскоп обводит проблемное место зеленым контуром.

Точность определения рака достаточно высокая — 98% в случае рака груди и 96% при выявлении рака простаты. Это выше, чем при выполнении традиционного анализа.

По мнению представителей Google, все это может пригодиться медикам любой страны. Сейчас выявление рака — непростая задача, но программно-аппаратная платформа позволяет ее без всяких проблем решить. Если технологию примут по всему миру, то число успешно обнаруженных раковых заболеваний на ранней стадии может повыситься, что увеличит продолжительность жизни людей.