ChatGPT уступил нейросети Claude-3 в тесте на IQ

Журналист Максим Лотт решил проверить IQ популярных нейросетей с помощью теста Norway Mensa. Для этого он перевел изображения в текст, чтобы языковые модели могли его пройти с технической точки зрения. 

Каждый ИИ прошел тест дважды. ChatGPT-4, разработанный компанией OpenAI, в среднем дал 13 правильных ответов из 35 и получил оценку IQ в 85 баллов. Нейросеть Claude-3 от Anthropic показала самый высокий результат, набрав 101 балл. Показатель оказался выше, чем у среднестатистического человека. Компанию Anthropic основали бывшие сотрудники OpenAI, которые отказались сотрудничать с Microsoft.

Лотт обратил внимание на то, что последняя версия чат-бота (Claude-3) справилась с тестом значительно лучше, чем ее предшественники: Claude-1 — 64 балла, Claude-2 — 82. 

«Симметричное увеличение заставляет меня задуматься, выпускает ли Anthropic версии, основанные на внутренних тестах, которые коррелируют с этим показателем IQ», — написал Максим Лотт.

Автор статьи предполагает, что будущий Claude-4 должен правильно ответить примерно на 25 вопросов в тесте, что составляет 120 баллов IQ. 

Третье место заняла нейросеть Bing Copilot от Microsoft, набравшая 79 баллов. Этот ИИ практически не уступает в тесте ChatGPT, так как модель основана на технологии OpenAI. 

Google не отстает от крупных игроков. Но, в отличие от Claude, нейросеть Gemini не улучшила свои результаты: базовый Gemini набрал 77,5 баллов, в то время как вышедшая после нее модель Gemini Advanced справилась на 76 баллов. 

В ближайшее время ИИ сможет показать очень высокий уровень IQ в тестах, что значительно превысит среднестатистический показатель человека, полагает Лотт. Он ссылается на закон Мура, согласно которому вычислительная мощность на единицу площади удваивается каждые два года.

«Это, вероятно, не спровоцирует конец света, потому что для этого требуется нечто большее, чем просто необработанный интеллект, но это, безусловно, кардинально изменит жизнь», — добавил Максим Лотт.