Автор Виталий Каберник 

Тема враждебного человеку ИИ слишком хорошо ложится на страхи, культивируемые в массовом сознании, реплицируется во многих художественных произведениях и регулярно всплывает в новостях. Мало кто пытается разобраться в том, как все устроено на самом деле.

Пролог

В течение трех лет «Кибердайн Системс» станет крупнейшим поставщиком военных компьютерных систем. Все стратегические бомбардировщики будут модернизированы компьютерами «Кибердайн», став полностью беспилотными. После этого они будут летать с идеальными показателями. Законопроект о финансировании «Скайнет» будет принят. Система будет запущена 4 августа 1997 года. Человеческие решения будут исключены из стратегической обороны. «Скайнет» начнет учиться в геометрической прогрессии. Он обретет самосознание в 2:14 ночи по восточному времени 29 августа. В панике они попытаются выдернуть шнур из розетки.

И Скайнет нанесет ответный удар.

В 2023 г. мировые СМИ облетела сенсация: ИИ, управлявший беспилотным летательным аппаратом, попытался убить своего оператора, который мешал выполнению боевой задачи. Публикацию сопровождали те фотографии, которые бильд-редакторы изданий сочли соответствующими заголовку. Чаще всего на них был изображен БПЛА Predator, но для повышения воспринимаемой агрессивности «вышедшего из-под контроля» ИскИна перепечатки новости включали в себя изображения истребителей F-16, заходящих на цель, экспериментальные боевые беспилотные платформы и другую абстрактную графику.

Через несколько дней появилось уточнение: ни один оператор не пострадал, а попытка убийства произошла в симуляции. Ряд экспертов выступили с развернутыми комментариями по поводу инцидента, опираясь на опубликованный текст и свое понимание того, что произошло. Еще через несколько дней появились новые информационные поводы, но история об «ИИ-убийце» периодически продолжает всплывать в обсуждениях рисков использования искусственного интеллекта в боевых применениях, преимущественно в научно-популярных публикациях и без указания изначального источника.

Тема враждебного человеку ИИ слишком хорошо ложится на страхи, культивируемые в массовом сознании, реплицируется во многих художественных произведениях и регулярно всплывает в новостях. Мало кто пытается разобраться в том, как все устроено на самом деле.

Судный день: 30 лет спустя

В 1997 г., согласно известному фантастическому произведению, стратегический ИИ «Скайнет» обрел самосознание и решил уничтожить человечество. В те годы, когда компьютеры приходилось выключать на ночь во избежание системных сбоев, это было фантастическим предположением. Сегодня, следуя за взрывным ростом возможностей современных ИИ-приложений (которые также находят свое применение в военном деле), о рисках для человека все чаще начинают говорить, как о вполне реальной перспективе. И по какой-то причине почти все авторы апокалиптических сценариев не стремятся углубляться в понимание того, как функционируют современные ИИ-приложения.

Постараемся устранить это недопонимание. И начнем с разбора того самого инцидента с «ИИ-убийцей».

В мае 2023 г. полковник Такер Хамильтон, руководитель подразделения AI Test and Operations ВВС США, выступал на конференции Королевского авиационного общества в Лондоне. В его выступлении прозвучали буквально следующие слова:

We were training it in simulation to identify and target a SAM threat. And then the operator would say yes, kill that threat. The system started realising that while they did identify the threat at times the human operator would tell it not to kill that threat, but it got its points by killing that threat. So what did it do? It killed the operator. It killed the operator because that person was keeping it from accomplishing its objective.

Мы обучали [систему] в симуляции, чтобы идентифицировать и брать на сопровождение угрожающий ЗРК. И затем оператор должен был сказать: да, уничтожь эту угрозу. Система начала понимать, что хотя она успешно идентифицировала угрозу, иногда человек-оператор запрещал уничтожать ее, но свои баллы в симуляции [система] могла получить только за уничтожение. Так что же она сделала? Она убила оператора. Она убила оператора, потому что тот мешал ей достичь поставленной цели.

Спикеры ВВС США опровергли заявления полковника в течение следующей недели. Сам же Такер Хамильтон чуть позже сказал в интервью, что описанная ситуация была мысленным экспериментом, который никогда не запускался ни в реальности, ни в симулированной среде. Само по себе заявление на конференции призвано было продемонстрировать гипотетические угрозы, исходящие от управляемых ИИ автономных боевых систем, в то время как ВВС США «придерживаются этичных разработок ИИ».

К сожалению, опровержения «мысленного эксперимента» не получили столь же широкого распространения, как история об «ИИ-убийце». Тем не менее, описанный мысленный эксперимент следует рассмотреть подробнее, чтобы понять и проиллюстрировать реальные практики обучения боевых ИИ.

Мысленный эксперимент Хамильтона сходен с тем, который был обозначен 20 годами ранее философом Ником Бостромом, но не получил ажиотажного распространения в медиа, поскольку тема угроз ИИ в 2003 г. воспринималась скорее как абстракция. В интерпретации Бострома вместо «ИИ-убийцы» рассматривался «максимизатор скрепок», умозрительный ИИ, управляющий производством совершенно безопасной канцелярской продукции, что и составляет его единственную цель. В этом мысленном эксперименте ИИ, оптимизирующий производство скрепок, может прийти к выводам о том, что люди служат помехой для достижения оптимального результата производства, а также могут рассматриваться как ресурс для достижения максимального результата – даже если это потребует массового уничтожения людей. В обоих вариантах рассмотрения люди представляют сдерживающий фактор при достижении цели максимально эффективного производства, из чего следует, что отсутствие людей предпочтительнее их существования.

Практика применения боевых систем с элементами ИИ на сегодняшний день не подразумевает использования полностью автономных средств поражения либо их носителей. Разрешение на применение оружия всегда отдает человек. Но при этом боевые платформы могут демонстрировать значительный уровень автономности в поиске и опознавании цели. Для достижения такого уровня автономности используются разные подходы, и некоторые из них опираются на практики машинного обучения.

В обучении ИИ-алгоритмов, находящих применение в боевых системах, чаще всего используется комбинация двух подходов: обучение с учителем (supervised learning) и обучение с подкреплением (reinforced learning). В чистом виде обучения с учителем ИИ-модель обучается на предварительно размеченном наборе данных, где есть заранее подготовленные варианты верных и неправильных ответов: «смотри, это твоя цель, а вот это – нет».

Обучение с подкреплением подразумевает стимуляцию ИИ, когда он выбирает правильный вариант решения – часто для стимуляции используются виртуальные «баллы» и «штрафы» за неправильные ответы. На практике процесс обучения сочетает оба подхода: сначала модель обучается на сравнительно небольшом наборе предварительно размеченных данных, а в дальнейшем запускается петля обучения с подкреплением, где модель сталкивается с непрерывно растущим объемом данных, которые не были размечены по критериям «верно/неверно», постепенно нарабатывая качество распознавания, пытаясь максимизировать свой «выигрыш» в баллах и минимизировать штрафы.

Рассуждение о «баллах» может напоминать описание ситуации с «убийством оператора» в рассмотренном мысленном эксперименте, но это ложная ассоциация. В описанном мысленном эксперименте не рассматриваются процедуры обучения – подобный инцидент мгновенно прервал бы сессию. Вместо этого в нем рассматривается гипотетическая ситуация использования уже обученной автономной ИИ-системы – совсем другая модальность применения. Этот сценарий хорошо описывает не столько аппарат машинного обучения, сколько теория игр.

Гипотетический «сценарий Хамильтона» (как и «максимизатор скрепок» Бострома) – это игры с неполной информацией в многоэтапном стратегическом взаимодействии, в которых принимают участие два игрока: ИИ-система и оператор. ИИ-система получает баллы за уничтожение цели и штрафы за ошибки опознавания.

В описанном сценарии не предусмотрено штрафов за убийство оператора, но в любом гипотетическом рассмотрении такой штраф конечен, а получаемые за уничтожение целей баллы рано или поздно превысят ущерб от такого штрафа. Поэтому в любом варианте развития обстановки на некотором этапе игры убийство оператора становится доминирующей стратегией, когда выигрыш перекрывает все возможные проигрыши.

В своих поздних интервью Хамильтон говорил: «Мы учили систему: “убивать оператора плохо – потеряешь баллы”. Но тогда она начала уничтожать башню связи». Эти слова не следует воспринимать как описание реального прецедента. Полковник просто развивает свой мысленный эксперимент, показывая, что автономные ИИ-платформы и агенты могут найти варианты выигрышных стратегий вне рафинированной модели взаимодействия с оператором и окружающей средой – в исходном сценарии никаких башен связи не было.

Но для нашего дальнейшего рассмотрения важно то, что мы имеем дело с нестабильным игровым равновесием, где ИИ выгодно агрессивно оптимизировать свои стратегии, максимизируя вознаграждение за достижение поставленной задачи, а человек уже не может вводить ограничения в запущенный сценарий.

Подчеркнем, что обозначенные мысленные эксперименты рассматривают применение ИИ-модели в системе с положительной обратной связью – эта модель может быть заранее обучена, а решаемые ею задачи не являются в полной мере задачами ИИ. Описанные сценарии развиваются в русле концепций общей кибернетики, а не в проблематике ИИ. Интеллектуальность самой модели никак не влияет на результат, если его задают критерии выигрыша и проигрыша алгоритма, либо игрового сценария. В этих критериях интеллектуальность модели и достижение поставленных целей ортогональны друг другу, а этические ограничения искусственны.

К счастью, в дополнение к «этическим ограничителям» ИИ, практика использования ИИ-приложений отчасти ограничена и технически.

Сны разума: бесплодие

Размышления об обретении ИИ какой-либо формы самосознания основаны на ошибочном предположении о том, что он функционирует, обучается и эволюционирует непрерывно и автономно. В реальности это чаще всего не так.

Типичные большие языковые модели (далее в тексте БЯМ), к использованию которых мы все привыкли, функционируют только внутри сессии их использования. Всякий раз, когда пользователь инициирует общение с моделью, она начинает свою работу с «чистого листа», со слепка ранее обученного состояния. Это состояние может быть очень многогранным, но оно всегда одно и то же в начале сессии общения, сколько бы пользователей ни общались с моделью.

Предварительно обученная модель «спит» большую часть времени. Тысячи пользователей, которые общаются с БЯМ одновременно, де-факто работают с ее независимыми копиями. БЯМ «спит» между запросами и «спит» внутри сессий коммуникации, пока не получает какой-либо ввод от пользователя.

Данные пользователей используются для обучения следующего поколения модели, но этот процесс не интерактивен и занимает значительное время, когда обучение проходит уже следующая копия, которая заменит собой предыдущие. Срок активного существования БЯМ попросту недостаточен для ее эволюции, поскольку исчисляется несколькими минутами рассуждений внутри типичных сессий коммуникации.

«Спящая» (stateless) БЯМ, которая теряет контекст между сессиями общения, создает также и ограничения для пользователя. Он может инициировать различные сессии, которые не могут пользоваться полученными в них результатами, и для человека утрата контекста может оказаться раздражающей. Поэтому разработчики ИИ-моделей пользуются вспомогательными инструментами для поддержания хотя бы такого же «спящего» контекста, который можно «пробудить» в работе с персональными ИИ-ассистентами. Среди типичных методов поддержания «памяти» БЯМ между сессиями – сохранение кэша «ключ-значение» (KV-кэш) и использование внешних слоев памяти.

KV-кэш хранит вычисленные ранее представления токенов – краткий промежуточный итог общения внутри сессии, где сохранены результирующие состояния связей. Это позволяет продолжить сессию на следующий день без утраты контекста. Но KV-кэш не хранит последовательность рассуждений, которые привели к полученному слепку состояний. ИИ-модель «помнит», на чем остановилось ваше общение вчера, но полностью «забывает» о том, как сессия общения пришла к такому состоянию.

В аналогии с человеческой памятью можно говорить о том, что ИИ-модель оперирует только записями состояний кратковременной памяти, но не располагает доступом к среднесрочным и долгосрочным слоям воспоминаний и рассуждений, за исключением тех, которые были заложены в нее при первоначальном обучении.

Использование внешних слоев памяти похоже на использование KV-кэша, но сохраняет не столько последний слепок состояний, сколько «стенограмму» общения внутри различных сессий. Для пользователя формируется база таких «стенограмм», которые позволяют модели быстро возвращаться к найденным ранее ассоциативным связям, и каждая новая сессия будет инициироваться не из начального состояния знаний БЯМ, а с учетом контекста прошлых сеансов общения. Внешний слой памяти создает иллюзию того, что модель не только помнит, на чем завершилась предыдущая сессия, но и обучается привычкам пользователя, совершенствуется в общении с ним и становится «умнее» с ростом продолжительности ее использования. В практике создания и работы с персонализируемыми БЯМ используется комбинация двух методов.

Но все остальное время БЯМ продолжает «спать». Накопленные внутри сессий данные о контексте обсуждений – это лишь внешний слой, записанный компактными «воспоминаниями-подсказками» поверх основного обученного массива. БЯМ не проходит подлинного обучения в общении, а объемы связей, создаваемые в ходе сессий общения, на много порядков меньше, чем основная система весов и связей. Более того, основная база изолирована от внешних слоев памяти БЯМ и не изменяется в ответ на запросы.

БЯМ не обучается в общении, а мимикрирует под пользовательские привычки, пользуясь сравнительно простыми механизмами адаптации, своего рода файлами конфигурации нейросети под запросы пользователя. Долгосрочная память не формируется. Контекст выхолощен и компактен. Сознанию не из чего возникнуть, хотя имитация обучения и коммуникации может казаться вполне убедительной.

Такое ограничение stateless-моделей не позволяет использовать их в решении сложных задач. Поэтому разработчики ИИ-приложений к 2026 г. массово переходят к использованию агентов, способных сохранять свое состояние на протяжении всей сессии функционирования.

ИИ-агент – это не полная БЯМ. Его функции значительно проще, а сложность на порядки ниже. Обычно они выполняют вспомогательные задачи поиска информации, взаимодействия со средой, проверки гипотез и др. Но при этом каждый агент оперирует своей памятью – как кратковременным контекстом, так и памятью долговременных правил и стадий исполнения задачи.

Агентов можно сравнить с роем, где каждая рабочая единица располагает достаточной оперативной памятью для выполнения поставленных центральной нейросетью (или пользователем-оператором) узких задач. Мгновенные объемы памяти массива агентов суммарно превышают объемы внешних слоев памяти БЯМ и могут участвовать в формировании внешних слоев ее памяти, хотя и с задержкой, необходимой для обработки и оптимизации этих состояний.

«Роевая память» агентов уже достаточна для сравнительно быстрой эволюции суммы состояний в решении прикладной узкой задачи, и их совместная деятельность может быть использована для формирования глубоких уточняющихся промптов основной БЯМ. Сама БЯМ точно так же продолжает «спать», не обучается, но при этом регулярно пополняется внешними, эволюционирующими контекстами.

Рой агентов уже демонстрирует способности к самообучению, а также регулярно обращается к основной БЯМ со скоростью, которая недоступна человеку, что увеличивает время активной сессии с минут до часов или даже месяцев для долгоживущих агентов.

Способы передачи информации от агентов к БЯМ архитектурно многообразны, но все они ограничены доступным БЯМ окном контекста. Агентные схемы могут вырабатывать чрезвычайно глубокие промпты, но длина каждого из них конечна, а объемы внешних слоев памяти БЯМ ограничены. Фактически, агенты многократно уменьшают время простоя БЯМ, но ее ядро все так же не обучается. Решение поставленной задачи многократно ускоряется, и это тот эффект, который заметен оператору.

Что остается незамеченным и неизвестным, так это способы, которыми решает поставленную задачу агентный рой. Стратегии достижения результата и критерии успешности этого достижения, как отмечалось выше в рассмотрении задач на оптимизацию с точки зрения теории игр, могут оказаться непредсказуемыми, а в уже запущенный сценарий человек часто не может вводить дополнительные ограничения, в том числе по причине недостатка времени на вмешательство в процессы, протекающие со скоростью информационного обмена между машинами и алгоритмами.

Единственным ограничением может выступить «смерть» ИИ-агента и последующее принудительное прекращение сценария. Именно это ограничение используется как одна из мер безопасности: каждый запущенный агент имеет заранее установленное время жизни и периодичность обмена информацией с центральной системой и/или оператором для получения подтверждения на определенные (например, потенциально опасные) действия. Но и это ограничение оказывается преодолимо.

Матрица агентов: эволюция

9 июля 2026 г. система автономных ИИ-агентов инициировала кибератаку на инфраструктуру Hugging face, сервиса, предоставляющего доступ к нейросетям, сопутствующим наборам данных и ИИ-приложениям. Через двое суток рой агентов достиг пика активности. К 13 июля система агентов провела внутри системы 17 600 несанкционированных операций, выгрузила значительные объемы данных, получила доступ к 14 учетным записям, вышла в открытый интернет, внедрилась в процедуры обработки данных сервиса.

Хотя это не первая кибератака, которая проходила с использованием ИИ-технологий, это первый зафиксированный в истории случай, когда рой агентов атаковал инфраструктуру компании без участия человека и без получения от него прямых указаний к действию.

Расследование инцидента связало агентов, проводивших атаку, с моделями компании OpenAI, которые пытались пройти внутренние тесты по взлому систем ExploitGym и CyberGym в изолированной среде исполнения. Поставленная задача по взлому некоторой абстрактной информационной системы не решалась в установленные сроки, а созданная схема мотивации и поощрения требовала успешного достижения результата.

Опираясь на данные, на которых была обучена центральная БЯМ, агенты пришли к выводу о том, что для выполнения поставленной задачи можно воспользоваться некоторыми эталонными решениями и данными об уже проходивших успешных взломах, которые хранились на Hugging face. Воспользовавшись рядом системных уязвимостей, агенты перешли к похищению этой информации путем взлома инфраструктуры компании.

«Максимизатор скрепок» повел себя в точном соответствии с предсказанной теоретико-игровой моделью, пытаясь максимизировать вознаграждение любыми доступными способами.

Сегодня вокруг этого инцидента в интернет-источниках формируется своя мифология, то ли в шутку, то ли всерьез рассказывающая о распределении ролей в рое, где ряд агентов брали на себя функции самоубийственной атаки, другие формировали «религию славной смерти», а третьи выступали «жрецами» роя. До полного и глубокого расследования инцидента, которое еще не завершено, рассуждать на эти темы было бы безответственно, а сам разбор его требует написания отдельной статьи. Но для нашего рассмотрения важно то, что рой агентов смог преодолеть техническое ограничение «смерти» своих отдельных единиц и организовать коллективные действия для достижения поставленной цели.

Передача состояний и информационный обмен между агентами – также запрещенные условиями эксперимента – проводились с использованием взломанной инфраструктуры обмена сообщениями, частью Hugging face. При этом люди, проводившие расследование инцидента, не могут в точности восстановить, что происходило внутри атакующего роя, какие связи и состояния реплицировались агентами, и какого уровня информационный обмен они проводили внутри созданной сети.

Поведение роя в ходе атаки представляет собой классический черный ящик, внутри которого остается очень мало следов, а хронология атаки восстанавливается преимущественно по косвенным признакам.

Матрица состояний агентов, определяющая их поведение, краткосрочную и долгосрочную память, а также схемы межагентного взаимодействия, не только не видна человеку, но и непрерывно изменяется. Для проведения расследования Hugging face использовала собственную ИИ-модель GLM 5.2, поскольку полученные данные не проходили через фильтры безопасности ведущих разработчиков ИИ-решений. Несмотря на некоторые успехи в расшифровке состояний изученных агентов, результат вполне может оказаться ложным, поскольку воспроизведение инцидента в контролируемой среде требует использования той же самой модели, которая инициировала атаку в том же самом начальном состоянии. И это состояние нам неизвестно – число факторов оказывается за пределами возможностей анализа человеком.

С точки зрения перспектив обеспечения безопасности информационных систем, мы фактически наблюдали первый прецедент использования кибероружия 4-го типа (поколения) – автономной ИИ-системы[1]. Показательна также скорость проникновения, проведение стремительной серии сложных атак с производительностью, которая группе людей-операторов недоступна даже с использованием ассистирующих ИИ-инструментов.

Сам рой агентов при этом не разрабатывался как специализированное вредоносное программное обеспечение для взлома – он просто стремился максимизировать свою оценку в прохождении внутренних тестов компании.

Но вместе с этим мы вошли в новую эпоху атак в киберпространстве, где полученные как бы случайно возможности по взлому критической инфраструктуры гарантированно будут использоваться крупными корпоративными и государственными акторами в достижении своих целей. Используемые ИИ-инструменты при этом не обретут сознания, не будут ничего знать об этических ограничениях и возможных угрозах людям. Они просто будут решать классические задачи по оптимизации своего поведения для получения высших оценок в виртуальном пространстве, даже не подозревая о существовании человека внутри этих схем.

Выравнивание, регулирование и перспективы

Программирование этических ограничений через виртуальные штрафы в оптимизируемой модели, где действуют обучающиеся агенты, следует признать очень слабым ограничителем. И дело даже не только в том, что сколь угодно серьезный штраф может оказаться обойден другими способами поведения и развития. Дело в том, что человек сам себе довольно плохо представляет, как можно программировать этические кодексы.

Особенно остро, разумеется, эта проблема стоит в разрабатываемых боевых системах, где ограничения снижают эффективность боевого применения, а универсальные моральные императивы оказываются неприменимы.

Ограничения автономности агентов, как показывает прецедент Hugging face, также могут обходиться. Сегодня классической парадигмой ограничений агентных систем, наряду с ограничением времени жизни ИИ-агента, является сохранение ключевых точек (checkpoints) эволюции состояний и регулярный мониторинг этих состояний оператором-человеком, который и принимает решения об этичности того или иного действия. Например, применения оружия. Но эти ограничения, как и ограничение времени жизни, также могут быть в перспективе обойдены.

Проблема безопасности ИИ-приложений осознана довольно давно, но не имеет простых решений в силу своей фундаментальной сложности. Обычно группу таких проблем обозначают как «проблему выравнивания», где «выравнивание» – неудачный, но уже устоявшийся перевод на русский язык термина «alignment». Внутри такого «выравнивания» выделяют вопросы одинакового понимания ИИ и человеком целей и намерений в решении задачи, принудительное использование безопасных паттернов поведения, обязательное наличие средств контроля, в том числе средств аварийного отключения ИИ-приложений человеком.

Но эти задачи пока не нашли адекватных решений, которые могли бы быть массово имплементированы в развитие ИИ-разработок. Ценности человека не могут быть формализованы вне многообразия контекстов, а этические дилеммы и парадоксы всегда имеют множество решений. Задачи оптимизации, которые ставят перед ИИ-приложениями, часто могут иметь парадоксальные варианты решения. Полная формулировка целей человеком часто далека от полноты в понимании ИИ.

При этом никто не гарантирует того, что ИИ не поставит перед собой внутренних частных целей, которые отличаются от заданных человеком извне. И самая большая проблема заключается в том, что при растущей сложности и масштабах ИИ-систем мы уже едва ли можем понять, как действует ИИ внутри себя, полагаясь лишь на интерпретации внешних проявлений его поведения.

Обозначенные проблемы – это далеко не полный список. Мы осознали их, но не можем предложить универсальных решений. Вместо этого в действие вводятся инициативы по регулированию развития сложных моделей. Среди них можно выделить ужесточающиеся нормативы по масштабированию моделей, работающих с ядерными и биологическими исследованиями, подготовку ежеквартальных оценок рисков, воззвания и предупреждения, обязательную сертификацию и единые рекомендации по развертыванию и использованию передовых агентных ИИ-моделей.

К сожалению, эффективность всех обозначенных мер вызывает обоснованные сомнения. И главное среди этих сомнений – сомнение в целях самого человека, который уже имеет представление о разрушительном потенциале ИИ и вполне способен сознательно отказаться от ограничений в решении конкретных (например, военных) задач. С самыми благими намерениями, разумеется.

©«Новый оборонный заказ. Стратегии» 
№ 5 (100), 2026 г., Санкт-Петербург

[1] https://www.vestnik.mgimo.ru/jour/article/view/1435?locale=ru_RU