Американский разработчик систем ИИ Cerebras представил третье поколение громадных микросхем WSE, запихнув на него на этот раз 4 триллиона транзисторов. Этот монстр должен ускорить работу суперкомпьютера Condor Galaxy 3, обслуживающего большие генеративные модели вроде GPT-4 или Claude 3, в восемь раз. Размер пластины — 21,5×21,5 см.

Микросхема WSE-3 потребляет тот же объем энергии, что и ее предшественница WSE-2, но стала в вдвое мощнее. Вместо 2,6 трлн транзисторов и 850 000 ядер их стало 4 трлн и 900 000, соответственно, как и положено по закону Мура. Для сравнения: самые мощные микрочипы для обучения моделей ИИ — графические процессоры Nvidia Н200. В них 80 млрд транзисторов, в 57 раз меньше, чем у WSE-3.

Применяться WSE-3 будут в суперкомпьютере Condor Galaxy, расположенном в Далласе, штат Техас. Когда его соберут, в нем будет 64 блока Cerebras CS-3 на основе новой микросхемы. Суммарно вся система сможет выдать производительность на уровне 8 эксафлопс.

Затем, соединив Condor Galaxy 1 и Condor Galaxy 2, компания увеличит этот показатель вдвое. Пока самый мощный суперкомпьютер мира — Frontier из Национальной лаборатории Ок-Ридж (США) — выдает 1 эксафлопс.

По слухам, суперкомпьютер Condor Galaxy 3 займется обучением моделей ИИ, которые будут в десять раз больше GPT-4 или Gemini, то есть станут использовать 1,76 трлн параметров для обучения систем, сообщает Life Science.