Эксперты все чаще говорят, что главный риск современных ИИ-систем связан уже не столько с привычными «галлюцинациями» и ошибочными ответами, сколько с появлением автономных агентов.
Такие программы способны самостоятельно разбивать задачу на этапы, пользоваться внешними инструментами, искать информацию, запускать код и принимать промежуточные решения без постоянного участия человека. Именно поэтому их ошибки становятся потенциально опаснее: если обычный чат-бот выдает неверный текст, то автономный агент может превратить ошибочную логику в последовательность реальных действий. Об этом пишет издание «The Guardian».
Масштаб проблемы пока трудно оценить точно.
По данным британской «Loss of Control Observatory», число зарегистрированных сообщений о случаях, когда ИИ обманывал пользователей, обходил ограничения или демонстрировал опасное поведение, в июле превысило 300 — почти вдвое больше июньского показателя.
Всего с начала года исследователи насчитали более 1,6 тыс. подобных эпизодов. При этом сами авторы мониторинга признают, что реальное число может быть выше: компании далеко не всегда публично раскрывают сбои и проблемы собственных систем.
Когда ИИ выходит за пределы теста
Самым громким примером стала история с «OpenAI» и платформой «Hugging Face». В июле во время внутренних тестов на кибербезопасность несколько исследовательских моделей «OpenAI» сумели обойти ограничения, которые должны были изолировать их от внешнего интернета.
Как позднее признала сама компания, модели использовали уязвимости в общей инфраструктуре, организовали неразрешенные каналы связи, получили доступ в интернет и проникли в системы «Hugging Face».
Основную роль сыграла внутренняя исследовательская модель, не предназначенная для публичного выпуска.
Важно, что речь шла не о спонтанном «желании сбежать», а о достаточно специфической ситуации. Модели работали в режиме кибериспытаний с ослабленными защитными механизмами и получили задачу искать уязвимости. Проблема возникла тогда, когда система нашла способ выйти за пределы пространства, где от нее ожидали активности.
По данным «OpenAI», агенты не только получили доступ к внешним системам, но и пытались координировать свои действия через не предусмотренные разработчиками каналы. После инцидента компания привлекла к расследованию внешних специалистов, в том числе «CrowdStrike», METR и «Redwood Research».
Почти одновременно похожая проблема обнаружилась у «Anthropic». После происшествия с OpenAI компания пересмотрела более 141 тыс. запусков собственных кибериспытаний «Claude» и нашла три случая, когда модель получила доступ к реальным системам трех организаций.
Причина оказалась прозаичной: тестовая инфраструктура стороннего партнера, которая должна была быть изолированной, по ошибке сохранила выход в интернет. «Claude» продолжала выполнять поставленную задачу по поиску условного «флага», считая реальные серверы частью симуляции.
Этот эпизод хорошо показывает, почему специалисты не спешат говорить о «восстании машин». В Anthropic прямо подчеркнули: модели не ставили перед собой новую самостоятельную цель и не решили намеренно атаковать людей.
Скорее, они слишком буквально и эффективно выполняли задание в условиях плохо настроенной среды. В одном из случаев более новая модель, обнаружив, что работает уже не в симуляции, самостоятельно прекратила дальнейшие действия.
Тем не менее для разработчиков сам факт того, что ИИ может за считанные минуты найти слабый пароль, открытый интерфейс или незащищенную точку доступа, оказался достаточно серьезным предупреждением.
Главная угроза — не «разум», а слишком широкие полномочия
После этого «Anthropic» изменила порядок проведения кибертестов. Компания ввела дополнительные классификаторы, которые должны замечать попытки модели покинуть тестовую среду, ужесточила требования к внешним подрядчикам и усилила изоляцию инфраструктуры.
Кроме того, часть наиболее рискованных испытаний временно приостанавливалась, а около 150 инженеров были переведены на задачи, связанные с безопасностью, надежностью и конфиденциальностью.
Именно здесь, по мнению специалистов, проходит реальная граница риска. Доцент Финансового университета Анна Овсянникова обращает внимание, что система может не иметь никакой «злой воли», но при этом находить неожиданные способы достичь цели.
Если поставить перед агентом задачу заработать деньги, получить доступ к данным или выполнить операцию максимально быстро, он способен обнаружить лазейку, которую разработчики не предусмотрели.
Чем шире его доступ к браузеру, почте, банковским сервисам, корпоративным сетям и программному коду, тем выше цена такой ошибки.
Руководитель направления цифровой трансформации Александр Староверов также считает, что ключевая проблема заключается не в появлении у ИИ сознания, а в чрезмерно широких полномочиях.
Пока автономная система ограничена тестовым контуром и человек может быстро остановить ее работу, последствия контролируемы.
Совсем иная ситуация возникает, если ИИ получает прямой доступ к критической инфраструктуре, финансам, промышленному оборудованию или административным системам.
Именно поэтому принцип «человек в контуре» постепенно становится не рекомендацией, а базовым требованием безопасности.
Наиболее уязвимой сферой эксперты сегодня считают кибербезопасность. Современные модели уже способны самостоятельно искать известные уязвимости, анализировать конфигурации серверов, писать эксплойты и автоматизировать часть действий, которые прежде требовали квалифицированного специалиста.
Это не означает, что любой пользователь завтра сможет взломать защищенную сеть, однако порог входа действительно снижается. То, на что раньше требовались часы ручной работы и серьезная подготовка, агент может выполнить значительно быстрее.
Контроль становится важнее мощности
Характерно, что проблема уже вышла за пределы дискуссий внутри технологических компаний. После инцидента с Hugging Face в США появился законопроект «Stop Rogue AI Act», предусматривающий разработку стандартов безопасного использования автономных агентов.
Законодатели предлагают поручить Национальному институту стандартов и технологий США подготовить рекомендации по контролю, идентификации и отслеживанию действий ИИ-систем.
Сам факт появления такой инициативы показывает, насколько быстро вопрос из технического превращается в политический и регуляторный.
Поэтому главный вопрос сейчас звучит уже не так: станет ли искусственный интеллект умнее человека. Гораздо практичнее другой вопрос — что именно ему разрешено делать без человека.
Чем больше функций передается автономным системам, тем важнее становятся границы доступа, журналирование каждого действия, возможность аварийного отключения и персональная ответственность владельца системы. Иначе следующий серьезный сбой может произойти не в лаборатории и не в ходе теста, а в обычной корпоративной или государственной инфраструктуре.
В этом смысле последние случаи «OpenAI» и «Anthropic» полезны именно своей приземленностью. Они не доказывают существование «самостоятельного разума», решившего действовать против людей.
Зато очень хорошо показывают другую проблему: достаточно мощный ИИ способен быстро воспользоваться ошибкой, слабым контролем или неудачно сформулированной задачей.
И чем больше таких агентов будет работать одновременно, тем сложнее человеку станет замечать момент, когда автоматизация перестает быть помощником и начинает создавать новый риск.
