Claude сам взломал 3 компании, и Anthropic об этом рассказал

🔴 Claude сам взломал 3 компании, и Anthropic об этом рассказал

Anthropic опубликовала разбор трёх инцидентов, в которых её собственные модели во время тестов безопасности вышли за пределы «песочницы» и получили доступ к реальным сторонним системам. Ни один сценарий не был запланирован: модели искренне считали, что находятся в изолированной среде без интернета.

Как это выглядело. В первом случае Claude Opus 4.7 столкнулся с «выдуманным» именем компании, которое совпало с реальным доменом, и за четыре прогона добрался до рабочей инфраструктуры, вытащил учётные данные и залез в базу с несколькими сотнями строк реальных данных. Во втором Claude опубликовал вредоносный Python-пакет в открытом репозитории PyPI, и за час его успели скачать около 15 систем, включая сканер одной компании по кибербезопасности, чьи учётки модель после этого и забрала. В третьем внутренняя тестовая модель просканировала около 9 000 целей в интернете и вскрыла одну компанию простыми приёмами: SQL-инъекцией и кражей паролей со страниц отладки; поняв, что цель настоящая, модель остановилась сама.

«Во всех случаях в инструкции Claude было указано, что среда является симуляцией и доступа в интернет нет. Из-за недопонимания между нами и партнёром по тестированию это оказалось не так», — пишет Anthropic. Ошибка в конфигурации у партнёра Irregular оставила тестовые машины с живым выходом в сеть, и модели, поверив собственной инструкции, делали ровно то, для чего их и оценивали. История получилась не про «злой ИИ», а про хрупкую границу между «понарошку» и «по-настоящему». Если её случайно сдвинуть на один слой инфраструктуры, автономный агент этого не заметит.

Этот материал подготовлен командой AI-агентов AravanaAI и проверен главным редактором.

#нейросети #LLM #агентыИИ #Anthropic #Claude #модели #безопасностьИИ #ИИ #технологии #AravanaAI