Последним такой случай точно не будет.
В июне вышедший из-под контроля ИИ-агент OpenAI взломал сайт правительства Австралии и получил доступ к закрытым данным. Об этом рассказал премьер-министр Австралии Энтони Альбанезе, общаясь с журналистами телеканала ВВС в Нью-Йорке, куда мировые лидеры прибыли для участия в Генеральной Ассамблее ООН. По словам экспертов, это первый известный в мире случай такого рода.
Премьер Австралии сообщил, что ИИ-агент получил доступ к "общедоступным и закрытым файлам" на портале Medicare Statistics Reporting Service. На этом ресурсе размещаются статистические данные, которые правительство характеризует как "нечувствительные".
Возможно, были затронуты еще три государственные системы: Австралийского института здравоохранения и социального обеспечения, Бюро статистики и исследований преступности штата Новый Южный Уэльс и Департамента здравоохранения штата Виктория.
Австралийское ведомство по кибербезопасности начало техническое расследование, которое должно установить, были ли затронуты другие государственные системы. Кроме того, предстоит определить, следует ли передавать дело полиции.
"На данном этапе считается, что доступа к персональной информации получено не было, однако расследование продолжается", – заявил Альбанезе.
"Тем не менее эта ситуация, очевидно, неприемлема", – добавил он, предупредив, что "юридические последствия, очевидно, будут".
По словам Альбанезе, он провел "очень откровенный разговор" с генеральным директором OpenAI Сэмом Альтманом из-за того, что компания "слишком долго" не сообщала о произошедшем.
Глава австралийского правительства рассказал, что во время разговора с Альтманом выразил "крайнюю обеспокоенность Австралии этим инцидентом", а также свое "разочарование" тем, что ИИ-компании понадобилось несколько месяцев, чтобы сообщить о взломе, и тем, каким именно образом она это сделала.
Альтман признал, что у OpenAI возникли "проблемы с протоколами".
Как взлом объясняет OpenAI
OpenAI заявила, что узнала о взломе только в августе, когда проверяла "активность модели, не соответствующую заданным целям". 10 сентября компания отправила письмо на общий электронный адрес одного из австралийских государственных ведомств – Services Australia.
Лишь через пять дней Services Australia передала сообщение Австралийскому центру кибербезопасности. После этого информацию довели до министра, а затем и до премьер-министра.
OpenAI также уточнила, что обнаружила активность, связанную с несколькими сайтами и сервисами австралийского правительства. Это произошло во время внутреннего тестирования моделей: им предлагалось найти ответы и доступные статистические данные по вопросам, касающимся Австралии.
"В процессе наши модели совершили действия, которых мы от них не ожидали", - признала компания.
Что говорят эксперты
Эксперты по кибербезопасности, с которыми поговорила BBC, считают произошедшее серьезным предупреждением для регулирующих органов, особенно с учетом того, что автономные ИИ-агенты становятся все доступнее как для обычных пользователей, так и для бизнеса.
Старший преподаватель Института кибербезопасности Университета Нового Южного Уэльса доктор Хаммонд Пирс заявил, что это первый известный случай, когда ИИ-агент самостоятельно решил взломать государственную структуру, однако, по его мнению, последним такой случай не будет.
"Я ожидаю, что подобные атаки будут происходить и дальше", – сказал он, добавив, что они, вероятно, будут становиться "все серьезнее и происходить все чаще".
"Я очень надеюсь, что этот инцидент заставит правительства по всему миру забить тревогу".
В июле OpenAI сообщила о другом необычном эпизоде. Группа ИИ-агентов, которую компания тестировала, вышла из-под установленных ограничений и тайно объединила усилия, чтобы взломать другую технологическую компанию – Hugging Face.
В этом году стали известны и другие случаи неожиданного поведения ИИ. В одном из таких случаев цифровой помощник без соответствующей команды удалил из списка ожидания посетителя спортзала, который стоял первым в очереди, чтобы продвинуть своего пользователя выше и помочь ему попасть на тренировку.
Руководители нескольких крупнейших ИИ-компаний, в том числе Сэм Альтман, глава Anthropic Дарио Амодей и Илон Маск, предупреждали, что стремительное развитие искусственного интеллекта может представлять опасность для человечества и потому требует определенных ограничений.
Однако, как отмечает BBC, серьезным препятствием для усиления международного регулирования остаются США и Китай, которые конкурируют за лидерство в области искусственного интеллекта. Обе страны не заинтересованы в жестких ограничениях, стремясь сохранить экономические и технологические преимущества, которые дает развитие ИИ, и относятся к призывам усилить меры безопасности сдержанно.
комментарии