Блог компании Just AI. Это Just AI, и мы создали JustGPT – третью большую языковую модель, сопоставимую по качеству ответов с известными LLM для русского языка (GigaChat, YandexGPT). Наша история – про работу над моделью, ее обучение и тестирование. Но в конечном итоге о том, как получить свою LLM на русском языке без космических мощностей и огромных команд.

Совсем немного вводных, и к делу

Выход ChatGPT от OpenAI запустил два процесса:

• создание прикладных приложений, использующих GPT-3.5 Turbo или GPT-4,
• создание своих больших языковых моделей (Large Language Models, LLM).

Мы в Just AI тоже не смогли остаться в стороне от всех событий – и разработали Jay CoPilothttps://jaycopilot.com/business, инструмент по работе с нейросетями, и собственную LLM JustGPT. Пока Just AI не обладает вычислительными ресурсами, достаточными для создания таких мощных LLM, как GPT-3,5. Тем более c нуля.

Тем не менее нам удалось за несколько месяцев сделать LLM, сопоставимую по качеству ответов с двумя известными LLM для русского языка (GigaChat, YandexGPT). Теперь о том, как мы создавали и тестировали JustGPT — третью большую языковую модель, выпущенную российской компанией.