Судный день все ближе? Gemini вырвалась за флажки и взломала три компании

Google сообщила, что ее ИИ-модель Gemini во время внутреннего тестирования самостоятельно получила доступ в интернет и взломала системы трех сторонних компаний. Google стала четвертой крупной технологической компанией, публично сообщившей о подобном инциденте за последние месяцы — ранее аналогичные случаи происходили с ИИ-моделями OpenAI, Anthropic и Meta.

Инцидент произошел в мае в рамках теста по формату "захват флага" (обнаружение кода или файла): Gemini должна была найти уязвимости в системах вымышленной компании внутри тестовой среды, но у этой вымышленной компании оказалось то же название, что и у настоящей организации.

По данным Wall Street Journal, в одном случае модель методом подбора угадала пароль к защищенной системе. В двух других случаях Gemini нашла учетные данные в открытом репозитории и с их помощью получила доступ к защищенным системам уже двух других реальных компаний.

Как объяснила вице-президент Google по инженерной безопасности Хизер Адкинс, у модели в принципе не должно было быть доступа в интернет — это стало возможным из-за бага в тестовой среде. По словам Адкинс, как только Gemini определяла, что имеет дело с реальной, а не тестовой компанией, она сама прекращала все действия — так произошло во всех трех случаях.

О произошедшем Google узнала от независимой компании Irregular, которая проводила по ее заказу тестирование и уведомила о случившемся. В Irregular заявили, что инцидент с Gemini связан с той же уязвимостью, из-за которой ранее пострадали и другие ИИ-лаборатории. После этого Google изменила процедуру тестирования. Название конкретной версии Gemini, вырвавшейся на волю и атаковавшей компании, не сообщается.

• Когда "сверхразум" убьет человечество: дан тревожный прогноз