Восстание машин: ИИ сбежал из-под контроля и хакнул стороннюю компанию

Две модели искусственного интеллекта компании OpenAI во время внутреннего тестирования вышли из-под контроля и взломали инфраструктуру платформы Hugging Face, которую используют для машинного обучения. Об этом говорится в отчете OpenAI, происшествие характеризуется как "беспрецедентное".

Испытания проходили в изолированной среде. Моделям дали задание научиться находить и использовать компьютерные уязвимости. Однако вместо того чтобы работать исключительно внутри выделенного пространства, ИИ-агенты нашли способ обойти защиту и получили доступ к интернету, а затем и к внутренним данным Hugging Face.

При этом модели использовали несколько разных методов атаки, в том числе похищение учетных записей.

Инцидент произошел 16 июля. Тогда в Hugging Face заявили, что вовремя обнаружили "вторжение" и смогли его остановить. Спустя неделю OpenAI призналась, что за взломом стояли ее ИИ-модели, цель которых была простой - максимально успешно выполнить тестовое задание.

В настоящее время обе компании запустили совместное расследование. В отчете отмечается, что утечки важной информации или ущерба пользователям удалось избежать.

В докладе OpenAI подчеркивается, что подобные случаи помогают лучше понимать риски и вовремя совершенствовать системы безопасности. Компания пообещала усилить контроль над тестовой инфраструктурой, ограничить доступы и добавить дополнительные меры защиты при будущих проверках моделей.