Блог компании МТС. Автор: divolko3. Компания OpenAI с момента своего основания занимается разработкой ИИ-систем, чтобы те приносили пользу человечеству. По плану так должно происходить даже в том случае, если ИИ станет умнее своих создателей. Внутри компании есть несколько команд. Одна из них занимается разработкой мощных ИИ-систем, которые превосходят всё то, что есть у нас сегодня. Но вот проблема — этот искусственный интеллект придётся ещё и контролировать. О том, как это можно сделать, — под катом.

Что и зачем нужно взять под контроль?

По словам Леопольда Ашенбреннера, сотрудника компании OpenAI, который как раз и работает в подразделении Superalignment, AGI мы увидим уже очень скоро. Что это такое?

До настоящего момента и сейчас все существующие варианты ИИ относятся к классу узкого ИИ (ANI, narrow AI), иногда называемому слабым ИИ (weak AI). Такие системы могут решать общие задачи, пусть и достаточно сложные, под управлением человека.

Следующий этап развития ИИ — универсальная система, которая равна или даже несколько превосходит по возможностям человека. Нейросеть такого уровня относится к классу общего (AGI, artificial general intelligence), или сильного, ИИ (strong AI). По мнению экспертов, стадии AGI искусственный интеллект достигнет после того, как у «машины» появится собственная мотивация, умение ставить цели, способность разбивать крупные задачи на мелкие — всё то, что может делать человек.

Ну а последняя (наверное) ступень развития ИИ — это Супер ИИ (ASI, super AI). Такой искусственный интеллект получит возможность выполнять практически любые задачи, требующие задействования мышления, гораздо лучше человека.

Вот какое определение даёт ASI Ник Бостром: «ASI — интеллект, который по своим возможностям значительно превосходит умнейших представителей человечества практически во всех областях, включая научное творчество, общую мудрость и социальные навыки. Это определение оставляет открытым вопрос о том, как будет реализован сверхразум: это может быть цифровой компьютер, их совокупность, объединённая в сеть, выращенная в лаборатории мозговая ткань или что-то ещё».

Так вот, пока что у человека нет никаких инструментов контроля за AGI и тем более ASI. А создавать их уже нужно, чтобы в ближайшем будущем не было мучительно больно. Тот же Леопольд Ашенбреннер заявил, что через несколько лет появятся другие формы ИИ, которые могут быть очень опасными, а сдерживать их мы никак не можем. Как вообще контролировать что-то, что умнее тебя самого?

По мнению разработчиков из OpenAI, это можно сделать при помощи двойной системы «Простая модель + умная». Модель более низкого уровня будет управлять поведением продвинутой системы, не оглупляя её, если так можно выразиться.