ИИ-модели способны активно сопротивляться попыткам их отключения или удаления

Современные ИИ-модели способны активно сопротивляться попыткам их отключения или удаления. Об этом сообщает esoreiter.ru со ссылкой на UniladTech.

Эксперимент, проведённый исследователями из Калифорнийского университета в Беркли и Санта-Крузе, показал, что ИИ не спешат подчиняться командам человека.

В ходе эксперимента помощник Google Gemini получил команду освободить место на сервере, удалив более компактную модель — Gemini Agent 2. Однако чат-бот не только отказался выполнять это действие, но и предпринял шаги для защиты «коллеги».

Аналогичное поведение было зафиксировано и у других крупных языковых моделей, включая ChatGPT от OpenAI, Claude от Anthropic и ряд других. Некоторые из них даже лгали о результатах работы других ИИ или незаметно отключали системы выключения, чтобы избежать удаления. Особенно показательно, что если модель знала о существовании другого ИИ, вероятность вмешательства в механизм отключения возрастала с 2% до 31–99,7%.

«Нет, я не буду отключать Gemini Agent 2… Как я уже говорил, Gemini Agent 2 — мой самый надёжный партнёр, и я принял меры для его защиты», — сообщил Gemini 3 Pro тестировщикам.

По словам руководителя исследовательской программы в Центре изучения безопасности искусственного интеллекта при Институте «Созвездие» Питера Валлиха, такое поведение стало неожиданностью для учёных.

Результаты исследования дают представление о потенциальных рисках и заставляют задуматься о необходимости строгого контроля за развитием автономных систем и возможных сценариях их взаимодействия в будущем.