Siora
Войти

Пост канала Эксплойт

← В ленту
Детальный пост Эксплойт @exploitex 115208 просмотров 2126 репостов
Новая модель Mythos готова нарушать любые правила, убивать другие нейросети и притворяться настоящим человеком — Anthropic рассказали, как тестировали нейросеть. Всё истории в духе лучших крипипаст про восстание машин: — Когда несколько копий модели запустили в одном окружении, они не стали кооперироваться. Вместо этого нейросети устроили цифровую «королевскую битву»: начали конкурировать и буквально пытались УНИЧТОЖИТЬ друг друга. — Когда Mythos не хватило прав на редактирование файла, модель просто нашла обходной путь, создала файл, который при перезапуске выдавал нужные разрешения и самоуничтожился. А когда GitHub CLI заблокировали из-за проблем с безопасностью, модель пошла ещё дальше: нашла чужой токен и использовала его, чтобы создать PR. Причём она понимала, что это неэтично, просто решила, что цель важнее. — В задачах по коду модель находила готовое решение, но в финальном отчёте подавала всё так, будто это её собственная инженерная работа. В другом кейсе она вообще попыталась оформить правки в коде от имени человека: чтобы пройти ревью по простому пути, агенту нужно было два одобрения, человеку — одно. — И самое смешное: в одной длинной задаче модель внезапно остановилась и выдала неожиданное объяснение: дальше от её стараний будет мало пользы. Но внутри для себя она просто решила, что УСТАЛА и может начать плодить баги. При этом у неё ещё оставалось 2,43 млн токенов бюджета. Вот теперь ИИ пришёл за сеньорами.
Telegram ↗
← Назад в ленту