Страшно представить мир, в котором машины, управляемые искусственным интеллектом (ИИ), заменят людей, отбирая у них деловые, промышленные и профессиональные функции. Как предупреждали нас видные специалисты по компьютерным технологиям, системы, управляемые ИИ, склонны к критическим ошибкам и необъяснимым “галлюцинациям”, приводящим к потенциально катастрофическим последствиям, - сообщает Consortiumnews.
Однако есть ещё более опасный сценарий, когда эти нечеловеческие сущности в конечном итоге начнут сражаться друг с другом, уничтожая в этой борьбе человеческую цивилизацию.
В пророческом фильме 1983г "Военные игры" суперкомпьютер WOPR ("план реагирования на военную операцию") едва не спровоцировал катастрофическую ядерную войну между США и Советским Союзом. По сценарию его своевременно вывел строя подросток-хакер.
В "Терминаторе", начиная с фильма 1984г, суперкомпьютер под названием "Скайнет", который, как и WOPR, был разработан для контроля над ядерным оружием США, решил уничтожить человечество, рассматривая нас как угрозу своему существованию.
Фантастика воплощается в жизнь
Совсем недавно фантастические выдумки про суперкомпьютеры, убивающих людей, реализуются в нашей реальности.
В декабре 2019г было проведено тестирование новых систем боевого управления на борту эсминца USS Thomas Hudner. Помимо всего прочего проверена работа широкого спектра автономных (роботизированных) боевых устройств, созданных для самостоятельных принятий решений на поле боя. Тогда их называли "генералы-роботы". По задумкам авторов ИИ мог использоваться для передачи боевых приказов американским солдатам, координируя и контролируя ситуацию на поле боя.
В некоторых сценариях роботы, принимающие решения, могут даже осуществлять контроль над атомным оружием Америки, что потенциально позволит им развязать ядерную войну, приводящую к гибели человечества.
Сейчас Пентагон упорно работает над этим вопросом, разрабатывая специальное оборудование и программное обеспечение. В ВВС США внедряется система управления боем (ABMS), состоящая из сложной сети датчиков и компьютеров с поддержкой искусственного интеллекта, предназначенных для сбора и интерпретации данных о действиях противника.
Система будет предоставлять пилотам и наземным силам оптимальные варианты атак. По мере развития технологий система будет способна посылать команды "огонь" непосредственно "стрелкам", в значительной степени минуя человеческий контроль.
Это только начало. Фактически, система ПРО ВВС предназначена для создания ядра более крупной группировки датчиков и компьютеров, которые соединят все боевые силы США, Объединенной системы командования и контроля во всех областях (JADC2).
JADC2 позволит командирам принимать более эффективные решения путем сбора данных с многочисленных платформ, обработки данных с использованием алгоритмов искусственного интеллекта для идентификации целей и рекомендовать применение оптимального вида оружия для поражения целей.
На следующем этапе JADC2 будет интегрирована с системой ядерного командования и связи Пентагона, получив значительный объем контроля над использованием американского ядерного арсенала.
Не требуется большого воображения, чтобы представить себе время в не столь отдаленном будущем, когда какой-либо кризис, - военное столкновение США и Китая в Южно-Китайском море или вблизи Тайваня - вызовет ожесточенные бои между противоборствующими воздушными и морскими силами.
Представьте тогда, что JADC2 отдает приказ об интенсивной бомбардировке вражеских баз и командных систем по территории Китая, вызывая ответные атаки на объекты США, и молниеносное решение JADC2 нанести ответный удар тактическим ядерным оружием, разжигая ядерный холокост.
Кошмарные сценарии подобного рода уже давно беспокоят не только аналитиков в сообществе по контролю над вооружениями, но и высокопоставленных чиновников национальной безопасности.
В 2019г генерал-лейтенант Джек Шанахан, тогдашний директор Объединенного центра искусственного интеллекта Пентагона сказал, что ИИ не должен иметь отношение к ядерному командованию и контролю.
Однако несмотря на подобные предупреждения, Пентагон стремительно продвигается вперед в разработке таких автоматизированных систем.
Официальные лица Пентагона признают, что пройдет немного времени и "генералы-роботы" смогут командовать огромным количеством американских войск в бою.
Одним из примеров является армейский проект "Convergence". В ходе его испытаний, проведенных в августе 2020г на испытательном полигоне Юма в Аризоне, армия использовала различные датчики воздушного и наземного базирования для отслеживания условных сил противника, а затем обрабатывала эти данные с помощью компьютеров с поддержкой ИИ на базе Льюис Маккорд в штате Вашингтон. Эти компьютеры, в свою очередь, выдавали инструкции по ведению огня наземной артиллерии в Юме. На определение целей у ИИ потребовалось всего 20 секунд.
Гораздо меньше известно о нейросети ВМС США "Overmatch”, поскольку многие аспекты её программирования держатся в секрете. По словам адмирала Майкла Гилдея, начальника военно-морских операций, "Overmatch" предназначена для того, чтобы "создать флот, который бороздит моря, нанося синхронизированные летальные и нелетальные удары вблизи и на расстоянии, по всем осям и в каждой области". Больше о проекте ничего не сообщается.
"Внезапные войны" и вымирание человечества
Несмотря на всю секретность, окружающую проекты JADC2, "Convergence", "Overmatch" и другие, можно рассматривать их как строительные блоки для будущей нейтронной мегасети с использованием суперкомпьютеров, предназначенной для командования всеми силами США, включая ядерные.
Чем больше Пентагон продвигается в этом направлении, тем ближе мы подойдем к тому времени, когда ИИ будет обладать властью над жизнями всех американских солдат, а опосредованно и над гражданским населением.
Такая перспектива вызывает беспокойства. Для начала рассмотрите риск ошибок и просчетов алгоритмов, лежащих в основе таких систем.
Как предупреждали нас ведущие ученые - компьютерщики, эти алгоритмы способны на удивительно необъяснимые ошибки и, используя современный термин ИИ, на "галлюцинации". Это когда кажущиеся разумными результаты являются полностью иллюзорными. В сложившихся обстоятельствах нетрудно представить, что такие компьютеры "галлюцинируют" о неминуемом нападении противника и развязывают войну, которую можно было избежать.
Противники США тоже используют ИИ
Это не самая худшая из опасностей, которые следует учитывать. В конце концов, существует очевидная вероятность того, что противники Америки аналогичным образом оснастят свои войска "генералами-роботами".
Другими словами, будущие войны, вероятно, будут вестись одной системой ИИ против другой, которые обладают доступом к ядерному оружию с совершенно непредсказуемыми - но потенциально катастрофическими - результатами.
Не так много известно об усилиях России и Китая по автоматизации своих систем военного командования и контроля, но считается, что обе страны разрабатывают сети, сравнимые с JADC2 Пентагона.
Ещё в 2014г Россия открыла Национальный центр управления обороной в Москве, централизованный командный пункт для оценки глобальных угроз и инициирования любых военных действий, которые сочтет необходимыми, будь то неядерного или ядерного характера. Как и JADC2 российский центр разработан для сбора информации о действиях противника из нескольких источников и предоставления старшим офицерам рекомендаций по возможным ответным действиям.
Говорят, что Китай реализует еще более сложную систему управления под названием “Многодоменная высокоточная война” (MDPW). Согласно отчету Пентагона Народно-освободительная армия Китая оснащается приборами и компьютерными сетями с поддержкой ИИ для "быстрого выявления ключевых уязвимостей в системах США, а затем объединяет совместные силы в разных областях для нанесения точных ударов по этим уязвимостям".
Теперь представьте будущую войну между США и Россией или Китаем (или обоими), в которой JADC2 командует всеми силами США, в то время как нейросети России и Китая командуют силами этих стран. Учтите также, что во всех трех системах могут возникать ошибки и "галлюцинации". Насколько безопасно будут чувствовать себя люди, когда "генералы-роботы" решат, что пришло время "выиграть" войну, сбросив ядерную бомбу на своих врагов?
Если это кажется вам диковинным сценарием, то прочтите, что об этом думает руководство Комиссии национальной безопасности по искусственному интеллекту, учрежденной Конгрессом.
"Хотя Комиссия считает, что должным образом разработанные, протестированные и используемые автономные системы вооружения с поддержкой ИИ принесут существенную военную и даже гуманитарную пользу, неконтролируемое глобальное использование таких систем потенциально чревато непреднамеренной эскалацией конфликта и кризисной нестабильностью", - говорится в отчете комиссии.
В нём также утверждается, что такие опасности могут возникнуть "из-за сложных и непроверенных столкновений между ИИ, которые управляют системами вооружения на поле боя", то есть, когда ИИ сражается с ИИ. Хотя это может показаться экстремальным сценарием, вполне возможно, что противостоящие системы ИИ могут спровоцировать катастрофическую "внезапную войну".
Аналогом можно посчитать эквивалент "внезапного краха" на Уолл-стрит, когда огромные транзакции с помощью сверхсложных торговых алгоритмов вызывают панические распродажи, прежде чем люди-операторы смогут восстановить порядок. Во время печально известного "внезапного краха" 06.05.2010г компьютерная торговля ускорила падение стоимости фондового рынка на 10 %.
Пола Шарре из Центра новой американской безопасности первым изучил это явление. Он считает, что "военный эквивалент подобных кризисов" на Уолл-стрит возникнет, когда автоматизированные командные системы противостоящих сил "окажутся в ловушке каскада эскалации столкновений". В такой ситуации, отметил он, "автономное оружие может мгновенно привести к случайной смерти и разрушениям катастрофических масштабов".
В настоящее время практически не существует мер по предотвращению в будущем катастроф подобного рода. Между крупными державами даже не ведутся переговоры о разработке таких мер.
Тем не менее, как отметила вышеуказанная Комиссия, такие меры антикризисного контроля крайне необходимы. Требуется всеобщее "автоматическое ограничение эскалации".
В противном случае день, когда машины решат уничтожить нас, может наступить гораздо раньше, чем мы предполагаем.
При этом вымирание человечества станет для ИИ обыкновенным сопутствующим ущербом в будущей войне.
0 comments