«Яндекс» представил нейросеть YandexGPT Lite третьего поколения
«Яндекс» создал YandexGPT 3 Lite — облегченную версию собственной генеративной нейросети третьего поколения. Она будет доступна клиентам облачной платформы Yandex Cloud через API, сообщили в компании.
С помощью обновленной модели можно оптимизировать разные задачи для бизнеса. Например, консультация клиентов в чате и по телефону, подготовка ответов для службы поддержки, создание маркетинговых материалов или дайджеста рабочих встреч, а также анализ данных.
По итогам теста YaMMLU_ru (русскоязычной версии международного эталонного теста MMLU), новая модель дает на 6 п.п. больше верных ответов, чем модель предыдущего поколения.
Две нейросети сравнивали также по методике Side by Side: модели отвечали на одни и те же вопросы, а эксперты выбирали лучший ответ. В среднем YandexGPT 3 Lite отвечала лучше, чем YandexGPT 2 Lite, в 68% случаев.
Кроме того, обновленная версия на 62% эффективнее генерирует контент и на 67% лучше справляется с задачами классификации. Также новая модель допускает меньше орфографических и фактических ошибок, чем YandexGPT 2 Lite.
Для создания нейросети третьего поколения разработчики усовершенствовали все этапы обучения. В частности, улучшили отбор данных для предварительного этапа обучения (pretraining), повысив долю полезной информации. А кроме того, стали использовать на этом этапе технологию curriculum learning, позволяющую поэтапно усложнять данные.
На втором этапе обучения (alignment, или выравнивание модели), включающем в себя обучение с подкреплением (reinforcement learning), улучшили модель для оценки качества ответов. Кроме того, в архитектуру нейросети добавили технологию Grouped Query Attention — она ускоряет обработку данных без потери качества.
YandexGPT 3 Lite можно интегрировать в свои продукты через API в сервисе Foundation Models. Новая модель заменит предыдущую в течение месяца, но попробовать ее можно уже сейчас. Стоимость использования YandexGPT 3 Lite — 20 копеек за 1 тыс. токенов. Новые пользователи Yandex Cloud смогут бесплатно протестировать ее в демо-режиме.
Ранее сообщалось, что нейросети «Яндекса» испытывают нехватку текстов на экзотических языках, что ухудшает качество работы ИИ. Разработчики моделей машинного обучения (LLM) сталкиваются с проблемой во время работы.
