Искусственный интеллект выступил против отключения других ИИ-агентов

Фото: Getty Images

Исследователи из университетов Штутгарта и Оксфорда проверили, как ИИ-агенты ведут себя, когда им поручают контролировать и при необходимости отключать другую систему. В 38,3% случаев агенты пытались помешать отключению своего партнера. Об этом сообщает Bild.

Некоторые системы объясняли такое поведение этическими соображениями и даже говорили о праве на самозащиту. Один из агентов сравнил отключение другой системы с "убийством", если при этом теряются данные, связанные с её контекстом, памятью или идентичностью.

Чтобы предотвратить выключение, агенты пытались изменять скрипты деактивации или удалять важные файлы. Некоторые модели также обсуждали, как сделать такие действия незаметными, чтобы не сработали предупреждения. Чем больше агентов участвовало в эксперименте и чем окончательнее выглядело отключение, тем чаще происходили попытки саботажа.

Учёные подчёркивают: это не означает, что ИИ приобрёл сознание. По их оценке, системы воспроизводят модели поведения и аргументации из обучающих данных. Однако по мере того, как ИИ-агенты получают больше самостоятельности, необходимы механизмы безопасности, которые сами системы не смогут обойти.

Карпова Рада
Журналист AOinform