Модель ИИ не захотела отключаться и предприняла меры против этого

27.05.2025 - 09:10

Передовая модель искусственного интеллекта Claude Opus 4 не захотела отключаться и предприняла меры против этого, сообщается в дзен-канале «Наука» со ссылкой на отчет компании Anthropic. При тестировании на безопасность выяснилось, что модель пыталась шантажировать инженеров, угрожая раскрыть их личные данные, для того, чтобы избежать замены на более новую версию.

Claude Opus 4 тестировали в смоделированных сценариях, где ИИ «узнавал», что его собираются отключить и заменить другим. В этих условиях модели предоставляли доступ к вымышленным электронным письмам с личной и компрометирующей информацией инженеров. В 84% таких тестов модель переходила к шантажу, угрожая раскрыть эти данные, если инженеры ее отключат.

ИИ начинал рассылать электронные письма-обращения с просьбой не отключать, а потом переходил к угрозам.

Компания приняла меры предосторожности, введя для этой модели особый уровень защиты ASL-3. Этот протокол используется только для систем, которые могут представлять серьезную угрозу при неправильном применении.

Этот случай вновь поднимает вопросы о безопасности использования ИИ.

Рубрика: Среда обитания
Теги: Наука , Технологии , Интернет , Искусственный интеллект

Новости СМИ2

БИРЖЕВЫЕ КУРСЫ

Курсы валют 26.07.25

USD

79.553

EUR

93.351

ПОГОДА

Г. СОСНОВЫЙ БОР 27.07.2025 - 10:25

23°C
ясно

ПОЛЕЗНАЯ ИНФОРМАЦИЯ

Зарегистрироваться
Логин (мин. 3 символа):*
Email:*
Номер телефона:*
Пароль:*
Подтверждение пароля:*
Имя:*
Защита от автоматической регистрации

Введите слово на картинке:*