Мораль автономных дронов

(Ди Андреа Мучедола)
20/05/24

По мере развития технологий дроны становятся все более автономными. перспектива создания роботизированного истребителя становится все более реальной. Воздушные и наземные роботизированные системы использовались во время недавних войн в Афганистане и Ираке, а также недавно на Украине и в израильско-палестинском конфликте.

Хотя официальная политика гласит, что эти дроны сохраняют контроль со стороны человека, по крайней мере, при принятии наиболее смертоносных решений, я опасаюсь, что оперативная концепция использования этих средств может измениться, как только будет продемонстрирована их надежность в полностью автономных действиях с точки зрения принятия решений. . Прежде чем перейти к этому вопросу, мы должны спросить себя, должно ли использование этих дронов ограничиваться правилами, связанными с моральными и этическими последствиями, которые должны быть характерны для человека.

Следует отметить, что многие международные конвенции1 соглашения по использованию вооружений были подписаны до создания ENIAC, первого компьютера, и не рассматривают использование автономных средств. Фактически, военно-научная среда, всегда стараться опережать время, чтобы поддерживать технологическое превосходствоЗа последние 60 лет развитие превзошло все ожидания, и ни один политик так и не поднял моральную планку в отношении потенциального риска использования роботизированных систем в военных операциях. И это несмотря на то, что их потенциальная опасность была поднята успешными книгами и фильмами.

Каков реальный риск?

Этот вопрос напоминает мне бурный протест на конференции НАТО, на котором представитель страны, выслушав программу разработки будущих полностью автономных боевых воздушных дронов, поднял за столом вопрос о необходимости применения первый закон робототехники2. Дискуссия носила чисто академический характер и не имела никаких выводов. Законы Азимова, родившиеся в начале 1940-х годов, на самом деле изучались в ожидании (теперь неизбежного) развития автономных роботов для использования в войне, но опасения, что эти системы могут причинить вред или смерть людям, могут стать реальностью.

Например, разработка корейской системы активного наблюдения за границей Samsung SGR-1 вызвала серьезные споры, и возникают вопросы о том, этично ли предоставлять машине автономный выбор для убийства людей, обнаруженных в ее зоне контроля, исключительно на основании вашего личная оценка.

Научная фантастика? Мы не должны заходить так далеко, чтобы воображать стилистические сценарии. терминатор o Battlestar Galactica, к счастью, еще далеко, но в настоящее время существует вероятность того, что автономные дроны могут решить убивать людей на основании предыдущих приказов, не принимая во внимание такие факторы, как этика и мораль.

Снижение неопределенности в процессе принятия решений

Чтобы понять механизм, который приводит к принятию решений на человеческом уровне, нам необходимо проанализировать, что технически определяется принятия решений, принятие решений.

Самая важная проблема в любой области, даже человеческой, — это принять правильное решение с минимальным риском ошибки и получить при этом максимальную эффективность. Как мы вскоре увидим, качество сбора и анализа информации об оперативной обстановке улучшает понимание обстановки и способствует принятию правильных решений. Проще говоря, это частично зависит от качества и производительности внешних датчиков наблюдения (зрителей, радаров, гидролокаторов и т. д.), а частично от опыта, интуиции и суждений человека-оператора. Этот процесс очень сложен, и в механизм, который эффективно «фильтрует» информацию, вмешиваются различные факторы, делая ее очень субъективной. Мы могли бы представить этот процесс как странный двойной конусный телескоп (Miller et Shattuck, Аспирантура ВМС США, Монтерей), первый из которых нацелен на реальный мир и наблюдает, в зависимости от его ширины, только часть всей информации. Линзы, расположенные внутри, имеют основополагающее значение. потому что они представляют собой уровни фильтрации информации. Чем больше производительность объектива (сенсора), тем лучше качество и количество собираемой информации.

Конус, который мы могли бы представить как сборщик данных, по мере приближения к наблюдателю претерпевает количественное сокращение информации, главным образом связанное с фильтрацией потенциально ошибочных данных (технически мы можем представить их как фильтры). пройти высоко o пройти низко), что снижает вероятность ошибочной оценки, а также способность выявлять подозрительное аномальное поведение. В этот момент оператор получает массу данных в свою систему представления и, сам того не зная, осуществляет повторную фильтрацию информации, связанную с личными факторами, такими как:

  • внимание (физическое состояние и мотивация оператора на момент анализа);
  • уровень опыта (полученный в результате обучения, полученного как индивидуально, так и в командной работе);
  • интуиция (неизмеримый личный дар, связанный со способностью видеть за пределами видимого);
  • человеческие предрассудки (связанные с полом, религией, социальными или политическими убеждениями, мотивацией и т. д.).

Проще говоря, датчик показывает нам только процент информации, связанной с точностью его технологического анализа; объем данных фильтруется как машиной (из-за ограничений датчиков и алгоритмов управления данными), так и оператором, который может отбросить или придать важность некоторым полученным данным в зависимости от момента. В конечном итоге лицо, принимающее решение (тот, кто должен принять решение), получает отфильтрованную ситуацию – часто сравниваемую с той, что исходит от других операторов – поэтому его уровень неопределенность принятия решения увеличивается дальше. Таким образом, этот человеческий предел приведет нас к склонению к роботизированному управлению, на которое не влияют ограничения и предрассудки, но... в игру вступают другие этические и моральные факторы. 

Что можно сделать, чтобы уменьшить неопределенность решений?

Самым простым ответом может быть использование все более мощных систем, способных анализировать большие объемы данных, качественно и количественно все более эффективных, делая их доступными для операторов с помощью все более интеллектуальных алгоритмов поддержки принятия решений. Все это в кратчайшие сроки, поскольку собранная информация в любом случае скоропортится и противник может предпринять новые действия, изменив исходную ситуацию. Хотя этот процесс аналогичен во многих рабочих средах, в армии он особенно чувствителен, потому что время реакции может спасти жизни.

Технически мы говорим о Командование, управление и связь (C3), чтобы определить этот непрерывный и циклический процесс, посредством которого командир принимает решения и осуществляет через свои средства связи свою власть над подчиненными командирами.

Одним из наиболее известных методов принятия решений является цикл НОРД, аббревиатура, описывающая процесс принятия решений, т.е.: Наблюдать-Ориентироваться-Решать-Действовать.

Как мы уже говорили, первым шагом к пониманию события является сбор и обработка данных, собранных датчиками, осуществляемая системными архитектурами (компьютерами), которые с помощью программ организуют данные, фильтруют их (устраняя противоречивые информацию) и генерировать графики, рисуя или представляя информацию (Наблюдение (Observe): ). На этом этапе оператор начинает ориентироваться в анализе и корреляции данных, оценивая их с точки зрения достоверности, актуальности и важности ( Ориентация (Оrient):) и преобразует знание в понимание. Просто сказать, но это всегда очень субъективно, поскольку у всех операторов есть свои собственные способности, основанные на предыдущем опыте и обучении, но ограниченные физическим состоянием в данный момент (усталость, напряжение, обида...), а также личными предубеждениями (я лучше, чем он/она, ... не понимает, кто меня заставляет это делать...) и правила, установленные вышестоящими властями (практическим примером являются поставки для операторов, которые составляются на основе более высоких директив, таких как правила ведения боевых действий - ROE - которые, в свою очередь, пишутся и утверждаются на политическом уровне, часто далеким от реальности момента). Это означает, что понимание события у разных операторов всегда разное, поскольку оно основано на разных технических и человеческих факторах (так называемое человеческий фактор).

Но это еще не все... Поэтому операторы должны делиться своим мнением или переходить на более высокие уровни принятия решений. Эта территория, по данным Закон меткалфа3, становится еще более сложным из-за увеличения количества генерируемых соединений. Кроме того, необходимо учитывать различия в анализе операторов, поскольку на них влияет разное происхождение; Классический случай – это когда они происходят из разных рабочих сред (военных, гражданских), но также из разных стран и культур). Классический пример — оператор, прошедший обучение в западной среде, которому приходится сотрудничать с азиатским коллегой: в первом случае его процесс анализа является евклидовым, то есть проблема, возможные решения, анализ и решение, во втором случае проблема должна рассматриваться целиком вместе (холистическое видение).

Подводя итог, мы могли бы сказать, что ошибки растут пропорционально увеличению реляционной сложности. Затем открывается второй конус, противоположный другому, который расширяется по мере добавления оценок из разных источников.

Это объясняет тот факт, что в динамичных средах часто применяются заранее запланированные меры реагирования, чтобы сократить время и максимизировать усилия. (теоретически уменьшая ошибки).

Люди против компьютеров

Фактически, во все более быстро развивающемся технологическом обществе возникает разрыв между поколениями, когда полномочия по принятию решений часто передаются сотрудникам, имеющим опыт, полученный в аналоговую эпоху, которым, однако, приходится иметь дело и направлять персонал людей, рожденных в цифровую эпоху, где поток информации многомерен и требует гибкости и «мультикультурного» понимания. Поэтому соблазн доверить управление нашим будущим роботизированным процессам может оказаться привлекательной перспективой. Интеллектуальные машины, которые могут работать с большими данными, следуя заданным правилам, без человеческих слабостей.

Но уверены ли мы, что технологии могут стать панацеей от всех человеческих ограничений, или вместо этого необходимо продолжать сохранять контроль человека над машинами? Кто будет нести ответственность за побочные эффекты?

Увеличение автономности принятия решений является естественным развитием технологий, и, по сути, не было бы ничего аморального в том факте, что компьютер может принимать решения даже за человека... если бы не тот факт, что, следуя за некоторыми решениями они могли последовать смертельные действия.

Законы, регулирующие конфликты (например, Руководство Сан-Ремо) налагают очень конкретные правила, которые ограничивают единственно допустимые цели или те, которые потенциально могут нанести ущерб. На сегодняшний день решение о совершении летального действия, как правило, всегда связано с решением Человека и предполагает комплексный анализ, учитывающий «управление последствиями». Некоторые сторонники строительства автономных боевых машин считают, что при снижении риска для человека будут стратегические преимущества, однако на самом деле эффективность оружия не всегда является оправданием его применения.

Здесь мы возвращаемся к главному вопросу, а именно, законно ли оставлять решение об убийстве человека машине.

По словам Сидни Аксина, профессора Философский факультет в Университете Южной Флориды и стал соавтором статьи. Мораль автономных роботов, решение совершить смертоносное действие должно оставаться человеческим, и неэтично позволять машине делать такой критический выбор. По мнению Аркина (2010), роботы могут лучше, чем люди, принимать целенаправленные решения, потому что у них нет мотива для мести… но верно также и то, что, несмотря на свои способности, они не могут осознать серьезность «неправильного» убийства человека.

Таким образом, хотя процесс принятия решений поддерживается все более высокопроизводительными машинами, окончательное решение всегда должно оставаться за Человеком, который, несмотря на все его слабости, обладает способностью различать добро и зло, по крайней мере, до тех пор, пока он сохраняет свою человечность (что не всегда является данностью). Поэтому использование автономных военных дронов должно строго регулироваться, как и использование другого оружия, такого как мины, биологическое и химическое оружие, чтобы не допустить восстания «слуги» против «хозяина», а не по злому умыслу (у машины нет чувств). но из-за нашего несовершенства. В эпоху, когда техническая эволюция предлагает удивительные инструменты, мы должны научиться использовать их, чтобы гарантировать будущее нашему виду... и не дать все более разумным машинам понять наши слабости, которые делают нас людьми, и не уничтожить нас. С другой стороны, одна из многих маленьких истин знаменитых законов Мерфи гласит, что «Разнообразие необнаружимых ошибок бесконечно, в отличие от обнаруживаемых ошибок, которые по определению ограничены». (Необнаружимые ошибки бесконечно разнообразны, в отличие от обнаруживаемых ошибок, которые по определению ограничены.)

Внимание

1. Среди множества условностей я помню:

– Гаагская конвенция о законах и обычаях сухопутной войны и Приложение к ней, Нидерланды, 18 октября 1907 г.

– Женевские конвенции, Швейцария, 12 августа 1949 г.

– Конвенция о конкретных видах обычного оружия (КОО), 10 апреля 1981 г.

– Руководство Сан-Ремо по международному праву, применимому к вооруженным конфликтам на море, 31 декабря 1995 года, Сан-Ремо, Италия.

– Конвенция о запрещении использования, накопления запасов, производства и передачи индивидуальных мин и об их уничтожении, Оттава, Канада, 3 декабря 1997 г.

2. Первый закон Айзека Азимова: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред», а человек причинил себе вред.

3.  Закон меткалфа утверждает, что сложность телекоммуникационной сети пропорциональна квадрату количества подключенных пользователей минус само число (см. изображение). На практике с увеличением количества узлов сложность возрастает. Закон назван в честь Роберта Меткалфа и впервые был предложен в 1980 году, хотя и не с точки зрения пользователей, а скорее с точки зрения «совместимых устройств связи». На рисунке (из Википедии) мы видим, что два телефона могут установить между собой только одно соединение, пять телефонов могут создать в общей сложности двадцать разных, двенадцать телефонов могут сделать 132, но 1.000 подключенных друг к другу устройств достигают 999.000 2. Следовательно, при увеличении количества узлов (телефонов) сложность возрастает по закону nXNUMX-n, где n — количество узлов (устройств).

4. В принятия решений различное видение западного и восточного мира — это не что иное, как культурная интерпретация, основанная на двух разных концепциях принятия решений: западный мир мыслит аналитически (проблема, анализ, возможные решения, окончательный выбор в соответствии с линейной логикой принятия решений). ), восточный наблюдает за каждым аспектом жизни (фэн-шуй) круговым образом, то есть анализ проблемы проводится с разных сторон для достижения возможного решения. Это означает, что два человека с разным опытом, призванные решить проблему, могут иметь разное время и выбор. Проблема становится чувствительной, когда эти люди работают в одном штате. Интересным справочником по этой теме является «География мысли» Ричарда Э. Нисбетта.

Ссылки
Джонсон, Аарон М. и Сидни Аксинн. «Мораль автономных роботов», Журнал военной этики 12.2 (2013): 129–141. Веб. https://www.academia.edu/10088893/The_Morality_of_Autonomous_Robots
Аркин, Р.К. «Доводы в пользу этической автономии в беспилотных системах», Журнал военной этики, том 9, выпуск 4, стр. 332-341, 2010 г.
Лоуренс Г. Шаттак и Нита Льюис Миллер. Распространение натуралистического процесса принятия решений на сложные организации: динамическая модель ситуационного познания 05_Shattuck_27_7_paged.pdf (nps.edu) https://faculty.nps.edu/nlmiller/docs/05_Shattuck_27_7_paged.pdf, 2006
Ричард Э. Нисбетт «География мысли, как жители Запада думают по-другому и почему», издательство Николаса Брили, Лондон, 2003 г. 
Бандиоли Марко, Искусственный интеллект для полей сражений и безопасности, Онлайн-защита, 2019

Изображения: Лалло Мари / Интернет

(статья изначально опубликована https://www.ocean4future.org)