Нейросети «Яндекса» столкнулись с дефицитом текстов на различных языках

Нейросети «Яндекса» испытывают нехватку текстов на экзотических языках, что ухудшает качество работы ИИ, пишут «Ведомости» со ссылкой на директора по развитию технологий ИИ «Яндекса» Александра Крайнова. Разработчики моделей машинного обучения (LLM) сталкиваются с проблемой во время работы.

Чтобы обучить языковую модель, нужно найти много хороших текстов, поясняет Крайнов. Он уточняет, что такого объема нет физически. На английском языке их достаточно, даже избыточно. На русском компания собирает все, что может получить. Однако если говорить об узбекском, таджикском или казахском языках, то «их не просто недостаточно — их нет».

Наличие такой проблемы подтверждает менеджер ИИ-продуктов Just AI Алексей Борщов. Он акцентирует внимание на том, что есть сложности с диалектами, редкими языками и языками с ограниченным объемом текстовых данных. Крайнов допускает, что уровень и качество работы языковых моделей могут стать ниже, если не будет хватать обучающих данных.