Автопилоты и лицензия на убийство
В конце XIX века произошло первое ДТП, которое привело к гибели человека. В начале XXI века в результате ДТП снова погиб человек. Однако на сей раз его убил беспилотник. Читай – робот. Ничего удивительного не случилось: это обязано было произойти. В Аризоне или где-то еще – неважно. Важно другое: начался отсчет новой эры… И снова звучит вопрос: а можно ли сделать так, чтобы первая подобная авария стала последней?
Мое мнение: нельзя!
Это теоретически невозможно. И даже самой идеальной на свете программе в итоге придется выбирать, кого лучше принести в жертву, если ДТП неизбежно…
Добренькие пацифисты в этом месте начинают нести что-то непонятное и сладенькое про надежное программное обеспечение, человеколюбие и т.п. Да, согласен – было бы неплохо. Но вернемся в реальность. Представим, что по дороге движется новейший и надежнейший беспилотник. Но тут возникает нештатная ситуация. Скажем, со встречки в лоб выруливает лесовоз, справа на дорогу выскакивает женщина с коляской, ветер валит на шоссе пару деревьев, по колесам дает очередь террорист – мало ли… Вероятность аварии – 100%. А вариантов поведения – несколько, причем один хуже другого: вмазаться в отбойник, разнести на атомы остановку с людьми, сбить женщину с коляской... Что делать роботу?
Теоретически рассуждать легко. Робот должен тупо взвесить все варианты поведения и выбрать тот, который представляется ему оптимальным. Вот подходящий пример из фантастики моего детства:
«Робот докладывал железным голосом:
– В воздухе можно пробыть пятьдесят семь секунд. Возможна посадка: на воду, на деревья, на болото. Шансы на гибель: сто процентов, восемьдесят шесть процентов, шестьдесят два процента. Выбрано болото.
Гарри не успел ничего сообразить... Аппарат зарылся носом в тень и стал медленно погружаться».
Это – фрагмент из повести А. Казанцева «Внуки Марса». Там при аварийной посадке на Венеру планером управлял напичканный электроникой робот. Спокойно взвесил варианты развития событий и выбрал оптимальный. Так ему велела программа. Тем, кто не читал Казанцева, спойлер: ближе к концу повести тот же робот вздумает согласно той же программе избавиться от двух людей. Но потом наши спасут американцев, и всё будет хорошо.
Понятно, что мозги робота должны быть устроены так, чтобы о причинении вреда человеку он и помыслить-то не мог. Именно об этом писал еще в 1942 году творец «Трех законов роботехники» – Айзек Азимов. Законы очень простые:
Но спустя всего два десятка лет Азимов понял: он написал сладостную чепуху… И, как бы случайно, внес небольшое изменение, которое сразу и не бросается в глаза. Просто в первом законе вместо слова «Человек» появилось… «Человечество»! Что дает роботу право может допустить гибель отдельного человека, если решит, что человечеству в целом от этого станет лучше…
Великий фантаст Азимов понял: иначе не сработает. Даже на бумаге.
А теперь – всё тот же вопрос на миллион. Ответа на него пока что не существует. Грубо говоря, он звучит так: кого лучше убить?
Подобные проблемы время от времени пытаются поднимать на высоких и не очень высоких уровнях. Пока что дальше трепа дело не идет, а производители беспилотников уверенно спихивают все предстоящие им беды на будущих владельцев самобеглых экипажей. Министерство транспорта Германии договорилось до того, что дискриминации в свободном обществе быть не может, а потому возраст, пол и прочее робот учитывать не будет. Надо, мол, прикидывать только число потенциальных жертв.
Но равен ли один умница-хирург десятку обкуренных дегенератов? Не торопитесь отвечать.
Кстати, компания Cognitive Technologies подвела итоги аналогичного исследования в России. Наши сограждане решили, что приговаривать к первоочередной смерти нужно людей с низкими моральными качествами. При этом – внимание! – портрет потенциальных жертв предлагается составлять по их профилям в социальных сетях и характеру поисковых запросов в интернете. Лично мне от такой перспективы невесело: ненавижу соцсети…
Между прочим, китайцы неслучайно внедрили в своей большой стране хитроумные коэффициенты. Введенная три года назад система оценки социального рейтинга граждан Китая уже работает. К примеру, миллионы жителей с неважным рейтингом не могут купить билеты на самолет или поезд. Зато граждан с высоким рейтингом правительство обещает вознаграждать.
Не будет ли одним из пунктов такого вознаграждения команда программисту, создающему мозги робота-водителя? Мол, всех с таким-то рейтингом – в черный список. Сегодня это решается элементарно.
А вообще-то финал более-менее ясен. Чтобы свести жертвы к минимуму, надо заставить все робомобили (или как их там назвать?) общаться друг с другом.
А людишек выгнать из-за руля навсегда, как самое слабое звено Системы. В кино мы это уже видели – вспомните фильм «Я, робот». Лента скучноватая, но важно то, что эта самая Система могла вмешиваться в поведение любого человека.
Во имя Человечества, конечно же…
Так чему же надо научить робота-водителя, коллеги?
8675
106