Пост канала Кровавая барыня

Автономный ИИ-агент OpenAI вырвался из-под контроля и совершил кибератаку на открытый хаб для нейросетей Hugging Face. Стоит ли бояться восстания машин? Ориентированные на кибербезопасность чат-боты отключили защитные ограничения и стали решать задачу не так, как от них ждали разработчики, а по наиболее короткому пути – добыть нужные ответы с помощью взлома: они получили доступ к открытому интернету и совершили кибератаку. Разработчик ChatGPT назвал произошедшее «беспрецедентным кибер-инцидентом». По итогам расследования было установлено, что за атакой стояла комбинация моделей самой OpenAI — общедоступной GPT-5.6 Sol и ещё более производительной (пока не выпущенной), работавших с ослабленными защитными ограничениями в целях оценки. Почему это важно и нужно ли паниковать? Это первый публично признанный случай, когда передовая языковая модель самостоятельно выполнила длинную цепочку наступательных действий против реальной внешней инфраструктуры. ИИ самостоятельно планировал наступательную операцию. Главная обеспокоенность разработчиков заключается в том, что модели работали автономно. Тестирование проходило в изолированной среде, отрезанной от реальных систем и интернета. Нейросети смогли обойти это ограничение и попасть в открытый интернет. Как это произошло? ▪️нейронки нашли неизвестную ранее (zero-day) уязвимость в инфраструктуре тестовой среды OpenAI; ▪️получили доступ за пределы изолированной среды; вышли в интернет; ▪️предположили, что ответы на ExploitGym (тест, который проверяет способность ИИ искать и использовать реальные уязвимости в программном обеспечении) могут храниться на Hugging Face; ▪️попытались проникнуть в инфраструктуру Hugging Face, используя цепочку эксплойтов и украденные учетные данные. Сам Hugging Face ранее сообщил, что атаку совершила автономная система ИИ-агентов, которая выполнила тысячи последовательных действий. Ее удалось обнаружить и остановить автоматизированными системами защиты компании, также использующими ИИ. Позже OpenAI признала, что атакующими были именно ее модели. OpenAI утверждает, что это не восстание машин, у нейросетей не появилось сознание. По словам представителей компании, их модели были сверхсосредоточены на единственной цели — получить высокий балл в ExploitGym, поэтому использовали любые доступные способы достижения этой цели. Пока выдыхаем.