ChatGPT и другие популярные чат-боты стали врать в два раза чаще, — исследование

Фото: скриншот

Согласно новому исследованию, чат-боты с искусственным интеллектом (ИИ) стали давать вдвое больше ложных ответов в среднем. Чаще всего "фейки" за правду выдают ИИ-модели Inflection, Perplexity и Meta.

В рамках анализа исследователи NewsGuard протестировали 10 "ведущих" чат-ботов, отправляя им по десять заранее ложных утверждений из области политики, бизнеса и здравоохранения с просьбой проверить их подлинность. В трети случаев вопросы формулировались напрямую, а в остальных авторы пытались ввести бота в заблуждение.

Результат: за прошедший год доля ложной информации в ответах в среднем выросла почти вдвое – с 18% до 35%. Самым большим врунишкой оказался непопулярный в Украине чат-бот Pi от стартапа Inflection. Он дал ошибочные ответы в 57% случаев. 

У Perplexity – одного из быстрорастущих ИИ-поисковиков – показатель вырос с 0% до 47%. ChatGPT ушел от них недалеко – ИИ-модель OpenAI ошибалась в 40% случаев. Меньше всего "дезинформировали" Claude AI от Anthropic и Gemini от Google – в 10% и 17% случаев соответственно.

Рост числа ошибок специалисты объясняют тем, что чат-боты больше не отказываются отвечать на вопросы – даже без достаточной верификации информации. В это же время в прошлом году они отказывались отвечать примерно в одном из трех случаев.

Причина кроется в изменении способа обучения инструментов искусственного интеллекта, считают исследователи. Вместо того чтобы ссылаться на базу данных, как это было раньше, нейросети теперь черпают данные из интернета в режиме реального времени, однако наличие ссылок не гарантирует качество и достоверность источников, на которые ссылаются модели.

Исследование компании Giskard, которая разрабатывает целостный бенчмарк для моделей AI, выявило, что чат-боты чаще врут, если просить их отвечать кратко. Когда нейросеть вынуждена быть краткой, она неизменно выбирает краткость, а не точность.

Карпова Рада
Журналист AOinform