Для создания революционно нового ИИ следующего поколения необходимы мощные суперкомпьютеры, способные выполнять квинтиллионы операций в секунду. Meta представляет новый суперкомпьютер с искусственным интеллектом. По словам материнской компании Facebook, когда AI Research SuperCluster (RSC) будет полностью построен, он станет самым быстрым суперкомпьютером с ИИ в мире. Это стало результатом почти двухлетней работы нескольких сотен человек. В проекте приняли участие исследователи из Nvidia Inc., Penguin Computing Inc. и Pure Storage Inc.

Meta заявила, что её исследовательская группа в настоящее время использует суперкомпьютер для обучения моделей ИИ обработке естественного языка и компьютерному зрению. Цель состоит в том, чтобы расширить возможности однодневных обучающих моделей с более чем триллионом параметров на наборах данных размером до эксабайта, что эквивалентно высококачественному видео длительность примерно в 36 000 лет.

«То, что мы создаем для Метавселенной, требует огромных вычислительных мощностей… и RSC позволит создавать новые модели ИИ, которые могут учиться на триллионах примеров, понимать сотни языков и многое другое», — заявил Марк Цукерберг.

По данным Meta, в новом суперкомпьютере с искусственным интеллектом установлено 6080 графических процессоров Nvidia, что ставит его на пятое место среди самых быстрых суперкомпьютеров в мире. К середине лета 2022 года, когда AI Research SuperCluster будет полностью построен, в нём будет размещено 16 000 графических процессоров. Компания пока что отказывается комментировать расположение объекта и его стоимость.

На пути к Метавселенной

Мета начала делать долгосрочные инвестиции в ИИ с 2013 года, когда создали Исследовательскую лабораторию искусственного интеллекта Facebook. В последние годы они добились значительных успехов в области искусственного интеллекта благодаря лидерству в ряде областей, включая самоконтролируемое обучение, где алгоритмы могут учиться на огромном количестве неразмеченных примеров, и трансформеры, которые позволяют моделям ИИ более эффективно «рассуждать», сосредотачиваясь на определённых областях вводимой информации.

Чтобы в полной мере реализовать преимущества самоконтролируемого обучения и моделей на основе трансформеров различных областей, будь то зрение, речь, язык или выявление вредоносного контента, требует обучения всё более сложных и адаптируемых моделей. Компьютерному зрению, например, необходимо обрабатывать большие и длинные видео с более высокой частотой дискретизации данных. Распознавание речи должно хорошо работать даже в сложных условиях с большим количеством фонового шума и «понимать» больше языков, диалектов и акцентов. Робототехника и мультимодальный ИИ помогут людям выполнять полезные задачи в реальном мире.

Например, одним из ИИ для которых разработан RSC является аудиовизуальный скрытый блок BERT (Audio-Visual Hidden Unit BERT, AV-HuBERT), современная самоконтролируемая платформа для распознавания речи, которая учится как с помощью «слуха», так и с помощью «зрения». Это первая система, которая совместно моделирует речь и движения губ из неразмеченных данных — необработанного видео, которое ещё не было расшифровано. AV-HuBERT на 75 % точнее, чем лучшие аудиовизуальные системы распознавания речи (которые используют как звук, так и изображение говорящего, чтобы понять, что говорит человек). Поскольку для большинства языков мира трудно получить большие объёмы размеченных данных, подход AV-HuBERT с самоконтролем поможет создать устойчивые к шуму системы автоматического распознавания речи для большего количества языков и приложений.

Первое поколение высокопроизводительной инфраструктуры, разработанное в 2017 году, включает 22 000 графических процессоров NVIDIA V100 с тензорными ядрами в одном кластере, выполняющем 35 000 учебных заданий в день. До сих пор такая инфраструктура устанавливала планку для исследователей Meta с точки зрения её производительности, надежности и производительности.

В начале 2020 года было решено, что лучший способ ускорить прогресс — это спроектировать новую вычислительную инфраструктуру с чистого листа, чтобы использовать преимущества новой технологии GPU и сетевой структуры.