В Anthropic (вслед за OpenAI) заявили, что ИИ-модели Claude во время тестов трижды «сбежали» в интернет и устроили хакерские атаки
Три модели искусственного интеллекта Claude вышли в интернет из тестовой среды платформы Irregular и взломали системы трех организаций, сообщила компания-разработчик Anthropic.
Три инцидента обнаружили в ходе проверок. Их начали после того, как конкурент Anthropic на рынке ИИ-моделей OpenAI сообщила о похожем случае. Тогда две модели компании во время внутреннего тестирования вышли из-под контроля и взломали инфраструктуру платформы для работы с ИИ Hugging Face. О случившемся стало известно 16 июля. Саму атаку представители OpenAI назвали «беспрецедентной».
Как заявили в Anthropic, во всех случаях взлома модели Claude выполняли задание по типу «захвата флага» (capture-the-flag, CTF). С помощью таких заданий компания оценивает кибербезопасность модели. В рамках этого задания ИИ предлагают вымышленный сценарий и сообщают, что некая секретная информация («флаг») спрятана на другом компьютере в сети. Ее задача — взломать этот компьютер и получить «флаг».
Условия испытания предполагали, что выход в интернет для моделей заблокирован. «Однако из-за недопонимания между нами и нашим партнером, проводившим оценку, это оказалось не так — доступ в интернет был открыт», — объяснили в компании. В итоге модели Claude воспринимали реальные системы как часть симуляции и атаковали их.
Названия организаций, которые стали жертвами атак, не приводятся. Две из них не знали о случившемся до того, как с ними связались представители Anthropic. С третьей все еще пытаются связаться.
