Компания «Яндекс» разрабатывает новую нейросетевую модель под названием SpeechGPT и ищет специалиста по машинному обучению для своей команды, сообщает «Коммерсантъ» со ссылкой на раздел вакансий компании.

В «Яндексе» подтвердили Forbes, что работают над внедрением мультимодальности в голосовом помощнике «Алиса». В компании отметили, что их продукты уже используют технологии мультимодальности, например, «Алиса» может обрабатывать как текст, так и голос, а поисковый сервис «Нейро» — текст и изображения.

«Мы продолжаем развивать мультимодальность, чтобы предоставлять пользователям наших продуктов еще больше возможностей,» — сообщили в «Яндексе».

Однако, как объяснил «Коммерсанту» сооснователь Just AI Кирилл Петров, «мультимодальный пользовательский опыт» — возможность использования сервиса как голосом, так и текстом — отличается от мультимодальности самой модели.

«Например, в случае с голосовым ассистентом, речь сначала преобразуется в текст одной моделью, этот текст анализируется другой моделью, а третья модель преобразует текст ответа в речь,» — объясняет Петров.

Этот процесс занимает больше времени и приводит к упрощениям. Мультимодальные модели, такие как GPT-4, разработанная OpenAI, обрабатывают весь контент без задержек. По словам Петрова, будущее развития ИИ именно за такими технологиями.

Эксперт в области ИИ и продвинутой аналитики компании Axenix Владимир Кравцев считает, что минимально жизнеспособная версия SpeechGPT (MVP) может быть выпущена в ближайшие месяцы, после чего начнется процесс ее постоянного улучшения. По его мнению, SpeechGPT будет интегрирована в существующие сервисы «Яндекса», связанные с коммуникацией с клиентами и партнерами, постепенно заменяя более простые модели на современные.

Директор по продукту Hybrid Светлана Другова полагает, что новая модель «Яндекса» вряд ли сможет конкурировать по возможностям с мультимодальными моделями Google семейства Gemini или OpenAI, так как их разработка требует миллиардных вложений. Однако, благодаря имеющимся наработкам, затраты «Яндекса» будут значительно ниже, добавляет она.