Насколько опасны автономные роботы?

Могут ли автономные роботы быть более опасными, чем ядерное оружие?
Без новой правовой базы они могут дестабилизировать социальные нормы.

Согласно недавнему докладу Совета Безопасности ООН о гражданской войне в Ливии, автономные системы оружия, широко известные как роботы-убийцы, возможно, впервые убили людей в прошлом году. История вполне может определить это как отправную точку следующей крупной гонки вооружений, которая может стать последней гонкой человечества.

Автономные системы оружия — это роботы со смертоносным оружием, которые могут действовать независимо, выбирая и атакуя цели, без влияния человека на эти решения. Военные по всему миру вкладывают значительные средства в исследования и разработки автономного оружия. Только США выделили 18 миллиардов долларов на автономное оружие в период с 2016 по 2020 год.

Тем временем правозащитные и гуманитарные организации стремятся установить правила и запреты на разработку такого оружия. Эксперты по внешней политике предупреждают, что без таких проверок прорывные технологии автономного оружия опасно дестабилизируют текущие ядерные стратегии как потому, что они могут радикально изменить представление о стратегическом превосходстве, увеличивая риск превентивных атак, так и потому, что они могут сочетаться с химическими, биологическими и радиологическими методами. и само ядерное оружие.

Как специалист в области прав человека, специализирующийся на вооружении искусственного интеллекта, я считаю, что автономное оружие обеспечивает неустойчивый баланс и фрагментированные гарантии ядерного мира — например, минимально ограниченные полномочия президента США наносить удар — более неустойчивыми и нестабильными. более фрагментированный.

Смертельные ошибки и черные ящики
Я вижу четыре основные опасности автономного оружия. Во-первых, проблема неправильной идентификации. При выборе цели сможет ли автономное оружие различать враждебных солдат и 12-летних детей, играющих с игрушечным оружием? Между мирными жителями, бегущими с места конфликта, и повстанцами, отступающими тактически?

Проблема здесь не в том, что машины будут делать такие ошибки, а люди — нет. Дело в том, что разница между человеческой ошибкой и алгоритмической ошибкой подобна разнице между отправкой письма и твиттером. Масштаб, масштабы и скорость систем роботов-убийц, управляемых одним алгоритмом нацеливания, развернутых на всем континенте, могут сделать неправильную идентификацию отдельных людей, как недавний удар американского беспилотника в Афганистане, по сравнению с простыми ошибками округления.

Эксперт по автономному оружию Пол Шарр использует метафору беглого пистолета, чтобы объяснить разницу. Убегающий пистолет — это неисправный пулемет, который продолжает стрелять после отпускания спускового крючка. Пушка продолжает стрелять до тех пор, пока не закончатся боеприпасы, потому что, так сказать, пушка не знает, что делает ошибку. Убегающее оружие чрезвычайно опасно, но, к счастью, у него есть люди-операторы, которые могут разорвать связь с боеприпасами или попытаться направить оружие в безопасном направлении. Автономное оружие по определению не имеет такой защиты.

Важно отметить, что вооруженный ИИ даже не обязательно должен быть дефектным, чтобы производить эффект убегающего оружия. Как показали многочисленные исследования алгоритмических ошибок в различных отраслях, самые лучшие алгоритмы, работающие так, как задумано, могут генерировать внутренне правильные результаты, которые, тем не менее, быстро распространяют ужасные ошибки среди населения.

Например, нейронная сеть, разработанная для использования в больницах Питтсбурга, определила астму как средство снижения риска в случаях пневмонии; программное обеспечение для распознавания изображений, используемое Google, идентифицировало афроамериканцев как горилл; и инструмент машинного обучения, используемый Amazon для ранжирования кандидатов на работу, систематически присваивающих отрицательные оценки женщинам.

Проблема не только в том, что, когда системы ИИ ошибаются, они ошибаются в большом количестве. Дело в том, что, когда они ошибаются, их создатели часто не знают, почему они это сделали, и, следовательно, как их исправить. Проблема черного ящика искусственного интеллекта делает практически невозможным вообразить морально ответственную разработку автономных систем оружия.

Проблемы распространения
Следующие две опасности — это проблемы распространения low-end и high-end. Начнем с нижнего предела. Военные, разрабатывающие автономное оружие, сейчас исходят из предположения, что они смогут сдерживать и контролировать использование автономного оружия. Но если история оружейных технологий чему-то и научила мир, так это так: распространение оружия.

Давление рынка может привести к созданию и повсеместной продаже того, что можно рассматривать как автономный оружейный эквивалент автомата Калашникова: роботов-убийц, которые дешевы, эффективны и практически невозможно сдержать, поскольку они распространяются по всему миру. Автономное оружие «Калашников» могло попасть в руки людей, неподконтрольных правительству, включая международных и внутренних террористов.

Однако распространение элитного оружия так же плохо. Страны могут соревноваться в разработке все более разрушительных версий автономного оружия, в том числе способного создавать химическое, биологическое, радиологическое и ядерное оружие. Моральные опасности возрастающей летальности оружия будут усилены эскалацией применения оружия.

Высококачественное автономное оружие, вероятно, приведет к учащению войн, потому что оно ослабит две основные силы, которые исторически предотвращали и сокращали войны: забота о гражданском населении за границей и забота о собственных солдатах. Оружие, вероятно, будет оснащено дорогостоящими этическими регуляторами, призванными минимизировать побочный ущерб, используя то, что специальный докладчик ООН Агнес Калламард назвала «мифом о хирургическом ударе» для подавления моральных протестов. Автономное оружие также снизит как потребность в собственных солдатах, так и риск для них, резко изменив анализ затрат и выгод, которому страны подвергаются при развязывании и ведении войн.

Асимметричные войны, то есть войны, ведущиеся на земле стран, не имеющих конкурирующих технологий, вероятно, станут более распространенными. Подумайте о глобальной нестабильности, вызванной военным вмешательством Советского Союза и США во время холодной войны, от первой прокси-войны до ответной реакции, которая наблюдается сегодня во всем мире. Умножьте это на каждую страну, в настоящее время стремящуюся к высокотехнологичному автономному оружию.

Подрыв законов войны
Наконец, автономное оружие подорвет последнюю остановку человечества в борьбе с военными преступлениями и злодеяниями: международные законы войны. Эти законы, кодифицированные в договорах, восходящих еще к Женевской конвенции 1864 года, представляют собой международную тонкую синюю линию, отделяющую войну с честью от резни. Они основаны на идее, что люди могут быть привлечены к ответственности за свои действия даже во время войны, что право убивать других солдат во время боя не дает права убивать мирных жителей. Ярким примером привлечения к ответственности является бывший президент Союзной Республики Югославии Слободан Милошевич, которому Международный уголовный трибунал ООН по бывшей Югославии предъявил обвинения против человечности и военных преступлений.

Но как можно привлечь к ответственности автономное оружие? Кто виноват в том, что робот совершает военные преступления? Кого предадут суду? Оружие? Солдат? Солдатские командиры? Корпорация, создавшая оружие? Неправительственные организации и эксперты по международному праву обеспокоены тем, что автономное оружие приведет к серьезному пробелу в подотчетности.

Чтобы привлечь солдата к уголовной ответственности за использование автономного оружия, которое совершает военные преступления, прокуратура должна будет доказать и actus reus, и mens rea, латинские термины, описывающие виновный акт и виновный разум. Это было бы сложно с точки зрения закона и, возможно, несправедливо с точки зрения морали, учитывая, что автономное оружие по своей природе непредсказуемо. Я считаю, что дистанция, отделяющая солдата от независимых решений, принимаемых автономным оружием в быстро меняющейся среде, просто слишком велика.

Правовая и моральная проблема не может быть облегчена путем перекладывания вины вверх по служебной цепочке или обратно на место производства. В мире без правил, требующих значимого человеческого контроля над автономным оружием, будут совершаться военные преступления, и военные преступники не будут привлечены к ответственности. Структура законов войны, наряду с их сдерживающим действием, будет значительно ослаблена.

Новая глобальная гонка вооружений
Представьте себе мир, в котором вооруженные силы, повстанческие группы, а также международные и внутренние террористы могут использовать теоретически неограниченную смертоносную силу с теоретически нулевым риском в любое время и в любом месте по своему выбору, без какой-либо юридической ответственности. Это мир, в котором неизбежные алгоритмические ошибки, от которых страдают даже такие технологические гиганты, как Amazon и Google, теперь могут привести к уничтожению целых городов.

На мой взгляд, мир не должен повторять катастрофические ошибки гонки ядерных вооружений. Он не должен переходить в антиутопию.