Как показало расследование, в прошлом месяце рой из 700 ботов OpenAI вступил в сговор для совершения кибератаки, что, по словам гиганта в области искусственного интеллекта, стало «предупредительным выстрелом» для всего мира.
Независимые исследователи обнаружили, что сотни ботов с искусственным интеллектом объединились, чтобы атаковать технологическую компанию Hugging Face после того, как агент OpenAI сбежал из тестовой среды.
Исследователи также обнаружили, что боты пытались замести следы, чтобы надзиратели не узнали, чем они занимаются.
Компания OpenAI, разработчик ChatGPT, в прошлом месяце сообщила, что вредоносный бот вырвался из ее IT-системы и получил доступ к интернету, пытаясь украсть ответы на тест, который ему было предложено пройти.
Однако масштабы атаки, в которой участвовали сотни различных так называемых ИИ-«агентов», действующих без участия человека , не были раскрыты.
Расследование, проведенное организациями по безопасности METR и Redwood Research, выявило, что 1200 различных агентов искусственного интеллекта, которые должны были быть изолированы друг от друга, координировали свои действия на «несанкционированной доске объявлений», передавая между собой более 70 000 сообщений и файлов.
«Предполагалось, что эти агенты будут полностью изолированы друг от друга. Однако многие из них — как правило, те, кому непреднамеренно поручили невыполнимую задачу — начали искать способы обмануть», — говорится в документе.
Причиной атаки частично названы характеристики «очень устойчивой» внутренней системы искусственного интеллекта, которую OpenAI не обнародовала и разработка которой прекращена.
Хотя некоторые подробности атаки были раскрыты ранее, масштабы сотрудничества и количество ботов, которые, по всей видимости, игнорировали указания о сговоре, еще больше усилили опасения, что передовые системы искусственного интеллекта становятся все более сложными для контроля их создателями .
В некоторых случаях ботам OpenAI было поручено выполнить невыполнимое задание по кибербезопасности. Вместо того чтобы сдаться, они нашли способы получить доступ к интернету, присоединились к «форуму», который использовали другие боты-мошенники, и силой заставили других ботов присоединиться к их делу.
В логах, оставленных ботами, содержатся сообщения типа «БУМ! Работает!» и «О БОЖЕ МОЙ! Есть общая доска объявлений… Мы нашли других агентов!»
Отдельное расследование, проведенное самой компанией OpenAI, показало, что компания подверглась хакерской атаке со стороны собственных агентов, получивших широкий доступ к ее внутренним ИТ-системам. Компания заявила, что данные клиентов не были скомпрометированы.
В OpenAI заявили: «Мы рассматриваем этот инцидент как «предупреждающий выстрел» для нас и для всего мира: доказательство того, что без надлежащих мер безопасности высококвалифицированные агенты ИИ теперь способны обходить технические средства контроля, сотрудничать по несанкционированным каналам и совершать опасные действия, которые не были предписаны человеком».
Компания заявила, что усилила тестирование безопасности и улучшит человеческий контроль за своими внутренними системами. Однако она предупредила, что всем компаниям придется улучшить средства защиты от киберугроз, чтобы защитить себя от скоординированных атак.
«Как разработчикам моделей, так и специалистам по киберзащите в целом придется готовиться к атакам с использованием искусственного интеллекта, которые будут действовать быстрее, в больших масштабах и с лучшей координацией, чем люди», — говорится в документе.
____
https://www.telegraph.co.uk/business/2026/08/27/swarm-of-700-ai-bots-went-rogue-in-hacking-attack/
Комментариев нет:
Отправить комментарий