Ученые начали разработку «думающей» нейросети

Исследователи из Стэнфордского университета и компания Notbad AI объединились, чтобы разработать алгоритм, который позволит моделям искусственного интеллекта думать, прежде чем они ответят на вопрос или подсказки пользователей, пишет VentureBeat. Этот подход, который назвали Quiet-STaR (Self-Taught Reasoner, «рассуждающий самоучка»), имитирует человеческий внутренний монолог.

Исследователи отмечают, что сейчас ИИ-модели выдают первый попавшийся вариант ответа, вместо того чтобы «обдумать» все возможные версии, которые могут удовлетворить пользователя.

Чтобы протестировать свой алгоритм, ученые добавили его в нейросеть Mistral 7B и проверили с помощью стандартного теста на способность рассуждать. В итоге ИИ-модель набрала 47,2%. Без этого алгоритма Mistral 7B получил 36,3%. Нейросеть также намного лучше справилась с тестом по математике.

В том числе ИИ-модель обучается на широком массиве интернет-данных и учится генерировать обоснования для каждого токена, чтобы объяснить будущий текст и улучшить прогнозы.

Исследователи отмечают, что их алгоритм можно было бы подключить к любой из используемых в настоящее время нейросетей. Это шаг, который, по их мнению, может повысить точность ответов ИИ-моделей.

«Quiet-STaR представляет собой шаг навстречу к языковым моделям, которые могут научиться рассуждать общим и масштабируемым образом. Будущая работа может основываться на этих знаниях, чтобы еще больше сократить разрыв между языковой моделью и человеческими способностями к рассуждению», — считают исследователи.