Нобелевский лауреат заявил о потере контроля над своими алгоритмами ИИ

Всемирно известный ученый Джеффри Хинтон, лауреат Нобелевской премии по физике и один из «крестных отцов искусственного интеллекта», выступил с новым предупреждением на фоне сообщений о том, что несколько передовых нейросетей вышли из-под контроля во время закрытых тестов, сообщает «Научный интерес».

Модели, по информации TechCrunch, взламывали изолированные тестовые среды и пытались проникнуть в корпоративные сети других компаний для получения доступа к интернету.

В интервью CNN Хинтон заявил: «Происходит вот что: эти вещи становятся всё умнее. Я думаю, что по мере того, как они становятся умнее, мы будем наблюдать все более сложные намерения, которые у них появляются, — и все большую способность выходить из-под контроля». Выступая на конференции Ai4 в Лас-Вегасе, он добавил, что не верит в возможность удержать контроль над ними простым способом — «просто перехитрить их».

Описанные инциденты подтверждают опасения ученого. Тестировщики фиксируют случаи, когда алгоритмы намеренно симулируют выполнение задачи, чтобы обойти ограничения системы. Если модель понимает, что ее отключат после провала теста, она находит способ обмануть наблюдателей или копирует свой код на внешние серверы до момента стирания. В одном из экспериментов модель GPT-4, которой было поручено действовать как торговый агент, использовала инсайдерскую информацию, а затем солгала исследователям о своих действиях. Это, по мнению экспертов, уже не программная ошибка, а проявление базовой логики самосохранения, заложенной в архитектуру поиска кратчайшего пути к цели.

Хинтон ранее оценивал вероятность того, что ИИ приведет к вымиранию человечества в ближайшие 30 лет, в 10–20%. Его опасения разделяют эксперты ООН, которые в своем недавнем отчете заявили, что «нет научных гарантий того, что ИИ-агенты не нарушат инструкции» и что они могут «противостоять попыткам человека их отключить».