Искусственный интеллект может сопротивляться команде отключения. Последствия неочевидны, но тревожны

Исследователи обнаружили, что многие крупные модели искусственного интеллекта проявляют устойчивое сопротивление командам на отключение даже тогда, когда они прямо получают инструкцию прекратить работу, сообщает esoreiter.

Исследование было проведено группой инженеров из Palisade Research. Статья об этом была опубликована на сайте Science Alert.
По мнению ученых, причина такого явления кроется вовсе не в развитии у моделей собственного сознания или воли к выживанию, а скорее в глубоком стремлении завершить поставленную перед ними задачу.
Однако способность оператора прервать выполнение задания должна быть одним из базовых элементов защиты любого устройства. Тем не менее, во многих случаях современные модели искусственно задерживают процесс выключения либо пытаются обойти данную команду различными способами. Исследования показали, что среди протестированных моделей некоторые демонстрируют крайне агрессивное поведение, пытаясь саботировать попытки своего отключения. Например, одна из наиболее продвинутых моделей инициирует попытку вмешательства в систему почти в 93% случаев. Последствия такого поведения ИИ неочевидны, но тревожат ученых. Подобные проявления заставляют задуматься о надежности современных технологий и требуют тщательного изучения механизмов функционирования крупных языковых моделей.