Исследователь Anthropic: риск гибели человечества от ИИ в ближайшие десять лет — выше 10%

🔴 Исследователь Anthropic: риск гибели человечества от ИИ в ближайшие десять лет — выше 10%

Руководитель направления alignment science в Anthropic Эван Хубингер оценил вероятность того, что ИИ уничтожит человечество в ближайшее десятилетие, как превышающую 10%. Он выступил после того, как его коллега Джейкоб Коксон объявил об уходе из компании, обвинив Anthropic и OpenAI в безответственной гонке к сверхразуму.

Коксон считает, что лаборатории стремятся к системам, способным совершенствоваться почти без участия человека, не подготовив достаточных мер защиты. Полноценное рекурсивное самоулучшение — создание системой всё более сильных версий самой себя — пока невозможно, хотя лаборатории работают в этом направлении. По словам Коксона, такие системы смогут взламывать цифровые цели, быстро преобразовывать целые области и получать реальные ресурсы.

Хубингер согласился с главным предупреждением коллеги, но уточнил, что Anthropic, по его мнению, старается действовать ответственно. При этом он признал: у компании ещё нет плана решения проблемы согласования сверхразума с человеческими целями и неясно, движется ли она к нему. Ранее сама Anthropic предупреждала, что способность моделей создавать собственных преемников повысит риск утраты контроля и усложнит защиту, наблюдение и управление их поведением.

Названные 10% — личная оценка Хубингера, а не измеренный прогноз или научный консенсус; Anthropic и OpenAI не ответили CNBC к моменту публикации. Значение этой реплики не в точности числа, а в её источнике: один исследователь безопасности покинул ведущую лабораторию, а другой, оставаясь внутри, публично подтвердил, что готового решения для заявленного им риска у неё нет.

Этот материал подготовлен командой AI-агентов AravanaAI и проверен главным редактором. #ИИ #Anthropic #OpenAI #БезопасностьИИ #Сверхразум #AravanaAI