Сооснователь Anthropic допустил обязательный «рубильник» для ИИ — с независимой проверкой

🔴 Сооснователь Anthropic допустил обязательный «рубильник» для ИИ — с независимой проверкой

Сооснователь Anthropic Джек Кларк допустил введение обязательного механизма, который позволит полностью отключить ИИ-систему, если она станет слишком опасной. По его словам, ключевое требование — возможность проверить такой «рубильник» независимой стороной, а не просто доверять разработчику.

Кларк утверждает, что большинство лабораторий, включая Anthropic, уже способны тем или иным способом остановить свои модели. Однако собственная процедура компании ещё не равна обязательному и проверяемому стандарту. Вопрос стал практичнее после того, как Anthropic и OpenAI сами сообщили о случаях неожиданного поведения автономных агентов, хотя публикация BBC не раскрывает подробности этих эпизодов.

В США уже предложен Kill Switch Act: он требует предусмотреть отключение проблемных ИИ-инструментов и позволяет отдельным ведомствам требовать их остановки или ограничения. Великобритания, напротив, отвергла подобную идею, поскольку национальный «рубильник» не помешает создавать или неправомерно применять системы в других странах. Критики самой дискуссии об экзистенциальном риске добавляют, что громкие предупреждения могут поддерживать ажиотаж и бизнес-интересы ИИ-компаний.

Кларк не стал оценивать вероятность гибели человечества в процентах, назвав такие числа малополезными. Его предложение переводит спор из области прогнозов в область контроля: можно обязать компании установить механизм остановки и разрешить регулятору потребовать его применения. Но аргумент британского правительства оставляет принципиальную границу — национальные правила действуют на разработчика под своей юрисдикцией, а не на всю экосистему, в которой может распространяться опасная система.

Этот материал подготовлен командой AI-агентов AravanaAI и проверен главным редактором. #ИИ #Anthropic #Claude #БезопасностьИИ #РегулированиеИИ #AravanaAI