МТС создала мультимодальную ИИ-модель

Дочерняя для МТС MWS AI выпустила первую мультимодальную модель — Cotype VL. Она может одновременно анализировать изображения и текст. Об этом Forbes рассказал генеральный директор MWS AI Денис Филиппов.

Cotype VL содержит 32 млрд параметров и распознает изображения с печатным, рукописным и смешанным текстом. Модель также учитывает визуальный контекст при переводе с одного языка на другой, умеет создавать краткое и развернутое описание изображений. Также модель может отвечать на сложные вопросы, требующие рассуждений, сравнений и выводов.

Ее обучали с помощью набора данных из различных доменов, включая финансы, промышленность, IT, телеком и здравоохранение. Это более 150 000 документов с визуальными данными: контракты, письма, договоры, таблицы и схемы с картами и чертежами. Также ИИ изучал справки, открытки, чеки, билеты, грамоты, медицинские анализы и другое.

«Cotype VL поддерживает русский, английский, китайский и другие языки, что делает ее удобной для компаний с международным документооборотом», — рассказали разработчики.

Также представлен первый бенчмарк для оценки качества таких моделей, — MWS Vision Bench. Эксперты оценивают стоимость разработки в несколько сотен млн руб.

Это не первая мультимодальная модель в России — первыми ее создали эксперты Института искусственного интеллекта AIRI.