Половина Закона Роботехники

Прочитали 62

Азимовские «Три Закона Роботехники» до сих пор часто встречаются не только в форме более или менее прямой аллюзии в произведениях современных фантастов, но и, к сожалению, в качестве цитат у некоторых социологов и представителей когнитивной психологии – как попытка формулировки неких «принципов организации взаимоотношений искусственного интеллекта с человеком». Долгое время трудно было поверить, что так много людей на самом деле принимают за нечто серьезное эти высосанные из пальца «три главных правила» (на гипнотической «убедительности» числа «три» не будем останавливаться, про это не раз писали исследователи метафор обыденной речи, раскрывая влияние библейских шаблонов на наше общество). Однако повторяющиеся хороводы вокруг азимовской лирической чепухи (ничуть, впрочем, не умаляющей литературные достоинства его замечательных произведений) вызывают желание внимательно разобрать ту троицу, на которой зиждятся все поведенческие механизмы антропоморфных роботов в одноименной вселенной его рассказов.

Для начала напомним эти три правила:

  1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы ему был причинен вред.
  2. Робот обязан выполнять приказы человека, за исключением случаев, когда это противоречит Первому Закону.
  3. Робот обязан заботиться о собственной безопасности, при условии, что это не противоречит Первому и Второму Закону.

Если внимательно проанализировать эти максимы, становится понятным, что из первой, как из кантовского императива, органично и безусловно вытекает вторая, а третья имплицитно содержится в двух предыдущих. Робот не способен предотвратить причинение вреда человеку своим бездействием, если он заранее не держит под контролем собственный гомеостаз, если он игнорирует человеческие приказы, а также если он безответственно принимает к исполнению команды, приводящие к причинению вреда (как самому хозяину робота, так и остальным людям).

Достаточно внимательно посмотреть на Первый Закон, чтобы стало ясно, что Второй и Третий не просто не нужны, но более того – вредны, подобно тому как всякой логической системе вредит введение дублирующих и тавтологичных утверждений. А между тем, являясь логическим базисом, эта система ни в коем случае не должна содержать подобные слабые места, так как именно на ее формализме выстраивается весь функционал «позитронного мозга».

Однако это только начало. Продолжим анализ азимовской фантазии. Пока мы лишь увидели, что Первый, и он же Единственный Закон роботехники (впрочем, не только ее), просится лаконизироваться в столь же компактную, сколь и бессодержательную формулу: «Робот должен делать то, и только то, что способно принести благо человеку, предсказывая последствия своих действий раньше, глубже и отчетливее, чем отдающий ему приказы хозяин» – только при таком определении действия (и бездействия) робота можно гарантировать ненанесение им вреда человеку и достижение выгоды от использования самого робота (что возможно при условии избавления человека от забот о самом роботе).

OK. Пусть так. Но если эта формулировка может быть реализована, мир азимовских роботов станет невозможен – исчезнут причины практически всех описанных в нем забавных психологических коллизий между хозяевами роботов и этими милыми железными чурбанами – вплоть до одной из лучших из историй – о роботе-судье, сумевшем избежать разоблачения и стать мэром города, обойдя в политической гонке людей. К сожалению, в формулировке имеется слабое место, которое не позволяет построить на подобном фундаменте ничего, кроме литературных фантазий. Это место – употребление далекого от формальной строгости выражения «вред человеку«, а также подразумевающаяся установка деятельности робота, как ориентированная на достижение столь же неопределенной «пользы«.

Здесь нелишне будет заметить, что рассказы Азимова как раз и посвящены теме противоречий, неизбежно возникающих между различием в восприятии человеком и роботом одних и тех же явлений, а также трудностям их взаимопонимания при формально сходных постановках задач. С этой точки зрения произведения являются одними из лучших в жанре мировой фантастики, но, к сожалению, именно поэтому в них нет места той формулировке руководящих роботами Законов, которую во главу угла поставил сам автор. Какими должны быть законы роботехники, чтобы из них логически вытекали поведенческие паттерны азимовских роботов – оставим за пределами данной статьи, это не входит в ее предмет интереса. Полагаю, фанаты творчества Азимова успели предложить немало остроумных альтернатив (впрочем, очень сомневаюсь в том, что все они выдерживают сколь-нибудь серьезную критику). Речь сейчас идет именно о моде на цитирование пресловутых «Трех Законов роботехники» вне вселенной Азимова. Поэтому вернемся к ним и попробуем установить степень их формальной пригодности.

Похоже, что Азимов не зря оставил за бортом этические рассуждения и какие-либо попытки дать определения понятиям «польза» и «вред», сознавая, что для решения этой задачи ни в три, ни в триста тридцать три, ни даже в три тысячи формулировок – ему не уложиться. Сознавая?.. Возможно, что он не отдавал себе отчета в сложности затронутой темы. У нас есть основания подозревать его в этом, потому что автор допускает странные противоречия в своих рассуждениях. Сперва он устами своих героев неоднократно утверждает, что «Три Закона роботехники не могут не работать!« – как минимум самый первый (в одном из рассказов его суть была упрощена, но в нашем случае это не играет существенной роли). Однако вместе с тем в рассказе «Лжец» Азимов повествует о том, как робот, прошедший все (sic!) базисные тесты (среди которых одним из первых был тест пресловутых законов), наконец-то «приступил к решению самых сложных –этических задач». На месте этого робота (кажется, его звали Эрби) следовало бы воскликнуть со всей эмоциональностью персонажа известного мультфильма: «Шо, опять?!» Зачем, скажите пожалуйста, повторять проверку того, что у данного робота обязано было функционировать безукоризненно – судя по результатам самых основных тестов его позитронного мозга?! Если он смог справиться с задачами, которые ставит перед ним Первый Закон, ему уже не нужны никакие проверки, это уже не просто робот, а намного превосходящее нас существо, которому можно поручить решение всех проблем на Земле. Ведь безошибочно определить, что для конкретного человека является «пользой«, а что «вредом» (как прямым, так и косвенным) при произвольном наборе условий, обстоятельств, задач и прочих факторов – не способен не только сам этот человек, но и целая армия врачей, философов, психотерапевтов во главе с самим господом богом (если бы этот криворукий ремесленник когда-либо существовал). Если же учитывать интересы не одного, а нескольких лиц, то задача из неразрешимой превращается в абсурдную (своего рода этический аналог хорошо известной «задачи трех тел» из небесной механики). «Но почему? – воскликнет читатель, – Ведь это совсем просто!». Увы, это не только совсем не просто, но совершенно невозможно – если оставаться в условиях жесткой формулировки целей деятельности азимовского робота и функциональных пределов их реализации.

Мы с вами не задумываемся, что даже элементарная просьба в форме «подай мне стакан с водой» исполняется нами так легко и естественно лишь потому что мы не ломаем себе голову над возможными последствиями того, что: обратившемуся к нам с ней человеку по каким-либо причинам нельзя пить в данный момент; что он может случайно поперхнуться при глотании; что вода может быть недостаточной степени очистки для текущего состояния его организма; что он способен случайно плеснуть водой в сторону розетки; что он уже выпил слишком много воды; что врачи строго нормировали ему потребление жидкости… подобных факторов в любой ситуации будет бесконечное количество. Каждый из нас, будучи свободным человеком, легко игнорирует подобные фоновые условности, доверяя человеку-заказчику и оставляя на его ответственности все последствия – как изначальной цели употребления стакана воды, так и потенциальных возможностей с негативным эффектом, сопутствующих данной нехитрой процедуре.

Человек может позволить себе это допущение персональной ответственности – но не азимовский робот, претендующий на самостоятельный контроль за «пользой» и «вредом» (без чего вся азимовская вселенная позитронных мозгов с hard wired тремя заповедями рассыпается в прах). Связанный вышеуказанным регламентом своей деятельности слуга не способен поступить так легкомысленно, поскольку не обладает ни свободной волей, ни собственной интенциональностью (неизбежно вступающими в конфликт с Законом). Его единственная задача – быть бесконечно исполнительным при столь же бесконечной ответственности за совершаемые им действия и любые их последствия. Какая-либо попытка привести эти противоречивые требования к соответствию вызовет если не перегрузку логических цепей бесконечной рекурсией, то, как минимум, полный останов всей системы. Причем вернуть из этого состояния данного робота можно будет лишь после глобального reset’а – с полной очисткой всего буфера последних поступивших команд и всех последствий их обработки. Между прочим, судьба Эрби в упомянутом выше рассказе отчетливо иллюстрирует эту коллизию – а ведь он оперировал не полным владением ситуации, а лишь ее оценкой в мысленных пожеланиях окружающих его людей.

Как только мы начинаем видеть логический абсурд в регламенте позитронного мозга, нам тут же становится понятным, что все азимовские роботы проявляли какую-либо активность не благодаря следованию Первому Закону роботехники, а вопреки ему, в игнорирование его! Автор настолько увлекся персонификацией и наделением своих любимцев антропоморфными чертами, что помимо заимствования внешних черт допустил (вопреки декларациям пресловутых Законов) некую свободу воли у них. Лишь таким образом он добился того, что его роботы стали действовать как люди. Возможно, как люди, перенесшие лоботомию, но все-таки – люди. Если бы «U.S. Robots and Mechanical Men, Inc.» (компания, производящая роботов в его рассказах) на самом деле оставалась в рамках оговоренных им же законов, мы бы получили слугу, который готов ловить каждое наше слово, внимательно выслушивать любое наше приказание – и тут же мгновенно зависать намертво, неизменно, впрочем, сохраняя пластиковую улыбку исполнительного идиота (friendly interface обязывает).

Подобные случаи неизбежны, когда сложные понятия, не сводимые к формальному языку, включаются в определения, казалось бы, простых и понятных всем вещей, заимствованных их набора т.н. «здравого смысла» (common sense). Однако давайте еще раз посмотрим на главную часть очищенного от тавтологий Единственного Закона роботехники:

«Робот должен делать то, и только то, что способно принести благо человеку, предсказывая последствия своих действий раньше, глубже и отчетливее, чем отдающий ему приказы хозяин»

Ничего не напоминает? В такой формулировке мы всего лишь расписываемся в наличии у себя старого как мир атавистического желании иметь в своем распоряжении бесконечно умелого раба, который должен предвосхищать все наши желания, обладая при этом безграничным функционалом для их осуществления. Естественно, ни к робототехнике, ни к Искусственному Интеллекту все это не имеет никакого отношения, поскольку целиком и полностью продиктовано нам рудиментами нашего самосознания, нашими неизжитыми детскими комплексами, нашими социальными страхами и целым букетом юнговских архетипов. Другими словами, Айзек Азимов всего лишь переформулировал на современном языке с учетом моды на техно-культуру и ее атрибутику древнюю пещерную потребность неокрепшего, неуверенного и боящегося самого себя человека – потребность в обладании неким всемогущим, но управляемым (да-да, наш добрый знакомый Старик Хоттабыч!) существом: «Боженька, позаботься обо мне лучше меня самого, а я тебе в качестве жертвоприношений обещаю своевременно смазку менять и сервопривод апгрейдить! Хотя еще лучше, если и это ты сам будешь делать.»

Возможно, именно поэтому данная идея настолько привлекательна для подавляющего числа людей (которых, конечно же, намного больше, чем ценителей творчества Айзека Азимова).

первая публикация: https://nonnihil.net/article/half_law_of_robotics
05.09.2021
Валентин Лохоня

То, что я пишу и публикую, ни в коем случае не относится к легкому развлекательному чтиву -- здесь вы не найдете ни приключений, ни ярких глянцевых героев, ни остросюжетных интриг. Мои тексты предназначены только для тех, кто, раскрывая книгу, руководствуется принципом, сформулированным А.Б. Стругацкими: “думать – это не развлечение, а обязанность”.
Внешняя ссылка на социальную сеть Мои работы на Author Today Litnet YaPishu.net


Войти или зарегистрироваться: 

Свежие комментарии 🔥



Новинки на Penfox

Мы очень рады, что вам понравился этот рассказ

Лайкать могут только зарегистрированные пользователи

    Войти или зарегистрироваться: 

Закрыть