Новый оборонный заказ. Стратегии
Новый оборонный заказ. Стратегии
РУС |  ENG
Новый оборонный заказ. Стратегии

Ватикан против боевых дронов

Папский Престол резко высказался против военного применения роботов. Ватикан видит в автономных видах вооружения угрозу международной безопасности и основам гуманитарного права. Искусственный интеллект действительно совершает смертельно опасные ошибки, вопрос, способны ли мы их предотвратить, готовы ли с ними смириться.

 

И главное, какие социальные и этические концепции определяют судьбу технического прогресса.

Читайте нас на:  

«С самого начала дискуссии о смертоносных автономных системах оружия Святейший Престол постоянно подчёркивает, что проблемы, возникающие в связи с появлением новых технологий в этой области, не ограничиваются сферой международного гуманитарного права, но могут иметь серьёзные последствия для мира и стабильности», – говорится в официальном заявлении Постоянного представительства Святейшего Престола при ООН.

Зона непредсказуемости

«Летальные (смертоносные) автономные системы вооружений, способные самообучаться или самопрограммироваться, обязательно оставляют место для определённого уровня непредсказуемости, который - ради максимальной эффективности – может, например, «отклониться» в отношении некомбатантов, нарушая тем самым принцип различения», –предупреждают человечество представители Святого Престола. Другой важный аргумент католиков – непригодность к новым условиям действующего юридического аппарата.

«Конвенции и договоры международного гуманитарного права содержат множество тщательно сформулированных выражений (таких как «предполагаемый», «можно ожидать», «ненужный ущерб», «излишние страдания»), которые главным образом зависят от интерпретации, добросовестности и разумного суждения. Эти аспекты отчасти основаны на информации о меняющемся контексте операций, для которых человек незаменим, учитывая действия, требующие вмешательства человеческого разума, например, идентификацию, соразмерность, предосторожность, необходимость и ожидаемое военное преимущество. Соблюдение и применение этих принципов требуют точной интерпретации, а также понимания конкретного контекста и ситуаций, которые сложно запрограммировать», – говорится в документе.

Теология войны

У последних высказываний богословов есть богатая предыстория.

 «Католическая Церковь еще со Средних веков имеет разработанную «теологию войны», включающей в себя и определенный набор принципов, делающих войну допустимой или недопустимой. Над этой темой работали лучшие умы западной мысли, в том числе Блаженный Августин и Фома Аквинский. Для них очень важно было точно сформулировать, является ли конкретный конфликт допустимым и почему, – объясняет автор книги «Сакрализация войны в византийском богословии и историографии», кандидат философских наук Герман Каптен. – В связи с этим католики, выпуская подобные заявления, вполне следуют своим принципам и традициям. В частности, для них важно, что ИИ-оружие имеет неизбирательный характер воздействия, стало быть, невозможно соблюсти одно из важнейших условий справедливости войны, отмеченное еще Августином: военные действия должны исключать невоюющее население (в Средние века это относилось к концепции т.н. «Божьего мира»).

Отсюда и разговор в изначальной статье: «Постоянное представительство Святейшего Престола указывает на опасность использования роя малоразмерных беспилотников-камикадзе в городских районах: это может привести к высоким рискам для гражданского населения».

Тем не менее, поскольку чисто формально этот принцип может быть соблюден при определенных условиях (например, усиления контроля живым человеком или уточнения программой), то этот вид оружия не может быть назван полностью недопустимым. Хотя тут, возможно, играет роль и здравый смысл, поскольку автору не хочется ставить авторитет Рима под насмешки из-за заведомо невыполнимого требования. Как бы этого не хотелось с позиции морали, остановить прогресс военных технологий невозможно. Даже в Средневековье, когда влияние церкви на общество было заметно сильней, чем сегодня, Риму не удалось запретить «неправильные» арбалеты».

По словам эксперта, православный подход в корне отличается от католического. Восточная традиция не выделяет «правильные» и «неправильные» войны по тем или иным критериям. Все войны равно греховны и «неправильны», поэтому боевой ИИ-беспилотник не более греховен, чем пулемет или авиабомба.

«Другое дело, что иногда воевать приходится, поскольку отказ от войны может привести к еще большим бедам, допустить которые будет еще более греховно. Поэтому Православная Церковь считает, что регулировать применение тех или иных видов вооружений бессмысленно, а лучше заняться более масштабной проблемой, ответив на вопросы: «а надо ли было воевать вообще?», «были ли исчерпаны иные, мирные способы разрешения ситуации?», – объясняет Герман Каптен.

Поиск экстремума

Представитель экспертной группы РК39, преподаватель математико-механического факультета СПбГУ Сергей Шилов тоже видит опасность в военном применении искусственного интеллекта:

«За некоторыми экзотическими исключениями любая нейронная сеть с точки зрения математики решает простую в концептуальном плане задачу: поиск экстремума полилинейной функции на определённом множестве или решение системы линейных уравнений. При этом размерность системы – старшие десятки и выше, иначе проще использовать алгоритмические методы. Есть доказанный факт: задача поиска алгоритма, по которому в действительности работает нейросеть, сама по себе неалгоритмизуема. Говоря проще, мы не можем сказать, как будет работать та или иная нейросеть в наперёд заданной ситуации, если эта ситуация раньше ей не встречалась. Не поможет даже то, что сеть будет непрерывно обучающейся. Риск, что что-то пойдёт не так, всегда возможен и даже не мал».

В качестве иллюстрации Сергей Шилов приводит такую историю:

«В нулевые годы в метрополитене одного из испаноговорящих городов, по-моему, в Мехико, была внедрена нейросеть, для управления вспомогательными электросетями: освещение, вентиляция, насосы и т.д. Она настраивалась на максимальную экономию электроэнергии, например, при снижении пассажиропотока автоматически перекрывался один из выходов на станциях, где их было несколько. Всё было нормально до того момента, пока в городе не началась сильная жара. Сеть начала резко закачивать в метро горячий воздух с поверхности. Естественно, систему тут же выключили, начали расследование. Оно заняло несколько месяцев (напомню, что задача определения поведения сети в конкретных условиях неалгоритмизируема). Что выяснилось? Первое: сеть просчитала корреляцию между снижением пассажиропотока и экономией электроэнергии и, фактически, вместо оптимизации потребления электричества, занялась оптимизацией пассажиропотока, например, перекрытием выходов. Второе: сеть просчитала корреляцию между повышением температуры в метро и снижением количества пассажиров. После этого осталось только дождаться возможности поднять температуру воздуха в метро с применением имеющихся возможностей. Если бы в распоряжении сети были нагреватели, как в московском или петербургском метро, сеть их, скорее бы всего, включила».

В этом примере говорится о гражданской инфраструктуре, предназначенной для обеспечения перевозки пассажиров. В алгоритмы военной системы изначально заложено уничтожение потенциального противника, в том числе живой силы, то есть людей. Массовое применение нейронных сетей неизбежно приведет к большому количеству ошибок, признается Сергей Шилов. Особенно на первых этапах внедрения. Но отказаться от него трудно.

Неизбежный эффект

«Учитывая скорости современного боя, все чаще есть соблазн оставить принятие решения на усмотрение ИИ. Так получается быстрее. Соответственно, возникает вопрос, кто будет отвечать за ошибки», – констатирует Герман Каптен. Ученый предлагает такой мысленный эксперимент:

«Боевой вертолет некой страны летит над зоной военных действий. Летчик боится, что не успеет правильно отреагировать на угрозу, поэтому переводит управление в режим ИИ. У него есть алгоритм: в случае появления угрозы, выполнить следующие действия - отстрелить ловушки и запустить ракету по месту угрозы.
В это время внизу некая семья празднует свадьбу и на радостях запускает шутиху. Для ИИ вертолета запуск некоего горячего объекта является несомненно угрозой, поэтому раньше, чем человек успевает вмешаться, вертолет отстреливает ловушки и запускает по толпе людей ракету. Итог очевиден.

Кто в этой ситуации виноват и должен оказаться на скамье подсудимых? ИИ не посадишь в принципе, стало быть должен ответить человек. Кто он: летчик, включивший ИИ, генерал, отправивший вертолет на патруль в той зоне, или программист, написавший несовершенную программу? Или же виноваты сами жертвы, а их смерть – это «сопутствующий неизбежный эффект»?

Пока на этот вопрос нет однозначного ответа ни в юридическом, ни в этическом поле. Есть технические достижения настолько новые, что человечество не успело сформировать к ним отношение. И высказывание Ватикана, определяющее позицию более чем миллиарда католиков, – это заметная попытка повлиять на общественное мнение. Те самые невидимые дивизии Папы Римского, способные уничтожить рои дронов. Когда-нибудь заявление Папского Престола в ООН, как и мнение военных, промышленников, ученых, будет учтено в новом всемирном консенсусе. Пока мы не знаем в каком, но надеемся, что он сделает мир немного безопаснее.