— Одно дело, когда человек находится прямо перед тобой и пытается отдавать тебе приказы. И совсем другое дело, когда он находится, например, около строящегося дома, а робот с пятнадцатого этажа выбрасывает строительный мусор. Дистанционно распознать человек это или вовсе не человек за короткий отрезок времени крайне затруднительно. — Понятно, — тяжело вздохнул Олег. — А с вредом-то что вышло? — Вред, наносимый роботом самому себе, и вред, наносимый роботом человеку, несопоставимы. Идеальный вариант — когда робот вообще не наносит никакого вреда человеку, но это, увы, невозможно. В нашем обществе достаточно людей, которым само существование роботов может нанести моральный вред. Концепция вреда для человека так и не сформулирована. Представьте себе робота, который препятствует альпинистам, так как подъём в горы на его взгляд напрямую связан с риском для жизни. Или робота, который громит табачную лавку, потому что курение вредит человеческому здоровью. Представили? — В общих чертах, — ответил Олег. — Так вот, это ещё не всё. При полевых испытаниях выяснилось, что концепции трёх законов роботехники и саморазвивающегося псевдоинтеллекта несовместимы. — А это ещё почему? — не понял Олег. — Самостоятельное развитие интеллекта подразумевает динамические приоритеты, зависящие от опыта данного индивида. Если наш псевдоинтеллект сделать полностью динамическим, то рано или поздно три закона уйдут в историю, как не соответствующие изменившимся приоритетам робота. Если же три закона жестко привязать к основам мотивации псевдоинтеллекта, то это затормозит развитие робота, некоторые ситуации, связанные с риском для жизни человека не будут рассматриваться, что обесценит роботов в ряде специальностей. Например, такой робот не сможет работать спасателем или инструктором экстремальных видов спорта. — Господин Бондарев, ваше задание состоит в создании концепции алгоритма, который мог бы реализовать три закона роботехники в программном коде российского робота, — сказал Березин. — В вашем распоряжении все наработки мистера Доулинга и других программистов компании. Единственное ограничение — вы не можете снимать с этих материалов копии или выносить их за проходные — вы понимаете, эти материалы стоят денег. — Естественно, господин Березин, — ответил Олег. — Ещё вопросы есть? Если нет, можете идти работать. — Хорошо, господин Березин. — И удачи вам! Когда Олег вышел за дверь, Ирвин К. Доулинг расхохотался. — Думаете, у него получится? — Это называется «свежий взгляд», — ответил Березин. — Человек со стороны способен объективно увидеть картину в целом, её слабые и сильные места. — Этот «свежий взгляд» будет работать ровно двадцать минут, до тех пор, пока он не откроет наши наработки. — Мистер Доулинг, как вы думаете, сколько времени необходимо, чтобы прийти к концепции глобального открытия? — Вся жизнь, — не задумываясь, ответил Ирвин К. Доулинг. — А чтобы осуществить его, когда вся база уже имеется? — В некоторых случаях несколько минут. Господин Березин, вы полагаете, это тот случай? — Очень хочется на это надеяться. В течение недели Олег деловито шарил по архивам компании, пытаясь разобраться в наработках «Рашен Роботс». Они касались программного кода, компоновочных решений, дизайна роботов, а так же многих вещей, отношение которых к роботехнике казалось весьма отдаленным. Роботы оказались классическими — с двумя ногами, двумя руками и головой; вот только в высоту они не превышали пятидесяти сантиметров. Питался робот от автономного генератора, заряжаемого от электрической сети. Погружаясь в детали, Олег день за днем все более приходил к мысли, что для того, чтобы просто разобраться в текущих делах, потребуется гораздо больше времени, чем неделя. Олег уже был морально готов признать поражение, но на третий день Березин пригласил его к себе. — Как движется дело? — Пока глухо. Чтобы изучить и систематизировать тематические разработки, нужно не меньше года. — Полагаю, даже больше. — Березин достал из бара коньяк, разлил по стаканам и пододвинул один Олегу. — Только этого от вас не требуется. Ваша задача, молодой человек, предложить концепцию решения, а вникать в детали будут другие сотрудники. Они за это деньги получают. Олег залпом выпил коньяк и закусил протянутой Березиным долькой лимона. — Вы полагаете, общей концепции будет достаточно? — Да. Если это будет красивым решением. Хотите, я вам расскажу, как появилась «Рашен Роботс»? — С удовольствием послушаю. — В начале XXI века мы назывались «РосГазТранзит» и занимались продажей российского газа в страны Европы. Небольшая дочерняя компания Газпрома, о которой мало кто слышал. Помимо продажи газа нас интересовали всякие сопутствующие дела — компания была маленькая, надо было как-то крутиться. И вот в один прекрасный день мы выиграли тендер на обслуживание нескольких секций российского газопровода в Восточной Европе. А это очень неплохие деньги. Единственная беда — приходилось много платить рабочим; стоимость трудодней в ту пору была немаленькой. И тут у одного сотрудника возникла красивая идея — заменить обслуживающих газопровод рабочих примитивными роботами. — Без шансов, — тут же высказался Олег. — Это того не стоит. — Это того стоило. Конечно, с газопроводом ничего не вышло. Профсоюзы начали стачку и мелкие диверсии, роботы выходили из строя раз в десять чаще, чем было запланировано, а кончилось это тем, что газопровод банально взорвали, свалив вину на наших роботов. Но согласитесь, идея была красивая? — Красивая, — кивнул Олег. — Именно поэтому мы начали заниматься роботами и стали одной из ведущих роботопромышленных компаний во всем мире. Попробуйте сформулировать концепцию выданного вам задания, не особо углубляясь в частности. В тот день они ещё долго проговорили, а уже на следующее утро у Олега появилась идея, которую он и обдумывал ближайшие дни. Красивая идея, правда, не без погрешностей. И когда отпущенный срок истек, Олег был готов предложить концепцию требуемого алгоритма. Они собрались в кабинете Березина — Олег, Ирвин К. Доулинг, Березин и ещё несколько специалистов, заинтересованных в реализации проекта. Олег беспомощно огляделся в поисках кафедры, не обнаружил её, глубоко вздохнул и прокашлялся. — Я хочу предложить вам концепцию алгоритмизации трех законов Азимова в приложении к профильному развитию программы ГРО. Публика притихла. — Начну с основополагающей проблемы, стоящей перед нами. Каким образом совместить самообучающийся псевдоинтеллект и некоторые базовые законы, служащие отправной точкой для создания управляемой роботехники? Я предлагаю разделить блок программного управления роботом на базовый блок псевдоинтеллекта и некую служебную зону, предназначенную для администрирования деятельности робота. Для упрощения терминологии назовем эти разделы сознанием и подсознанием. Информация от сенсоров будет поступать к модулю «подсознание» и после некоторой обработки передаваться псевдоинтеллекту. После того как роботом будет принято то или иное решение, команда на осуществление деятельности будет передаваться «подсознанию», которое проверит это действие на соответствие законам Азимова. Если предлагаемое роботом действие не противоречит законам Азимова, оно будет выполнено, в противном случае «подсознание» заблокирует действие робота. — Можно вопрос? — со стула поднялся Ирвин К. Доулинг. — У нас были подобные наработки, они назывались проект «совесть». Единственное отличие — информация от сенсоров сразу поступала в зону псевдоинтеллекта, минуя «подсознание». Это может значительно ускорить работу. — Мистер Доулинг, разрешите узнать, почему этот проект не был доведен до конца? Ирвин К. Доулинг вопросительно уставился на Олега, словно пытаясь понять, чего от него хочет этот выскочка. Потом медленно произнес: — Мы не смогли создать описательную часть законов Азимова. — А я смог, — спокойно сказал Олег. — Потрудитесь сначала выслушать доклад, прежде чем давать комментарии. Ирвин К. Доулинг уселся на своё место, а Олег внимательно обвел взглядом присутствующих. — Итак, приступим, собственно, к концепции алгоритмизации законов Азимова. Первый закон гласит: «робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен какой-либо вред». Как доказал в своих произведениях классик, вторая часть этого утверждения по существу равна первой. Ситуация из Азимова: робот, не способный действием причинить вред человеку, но способный сделать это бездействием, решил убить человека. Робот берёт большой камень, поднимается на крышу дома и, когда человек проходит внизу, бросает камень ему на голову. Сил и возможностей робота хватит, чтобы остановить камень в полете, собственно, изначально он и собирается так сделать, не причинив человеку вреда. Первый закон не нарушен. Но во время полёта камня робот меняет своё решение. Он решает не спасать человека, и тот умирает. — Нам известен этот парадокс, — ровным голосом сообщил Березин. — В таком случае, я собираюсь его опровергнуть, — улыбнулся Олег. По залу прокатился гул изумления. — Существует ситуация, в которой робот даже с облегченным первым законом не способен умышленно причинить вред человеку. Это когда робот не знает о существовании человека. Механизм реализации этого действия таков. Подсознание получает информацию об окружающем мире и анализирует её на предмет наличия там человека. Существует подпрограмма, на основании семидесяти трех показателей определяющая человека. Псевдоинтеллект будет получать данные только о тех объектах, про которые подпрограмма сказала, что это «не человек». А все данные об объектах «человек» заносятся в отдельный буфер, и каждое действие робота «подсознание» проверяет на предмет нанесения вреда жизнедеятельности человека. Первый закон Азимова реализован. — Кхм-кхм, интересная трактовка, — улыбнулся Березин. — Но если робот не знает о существовании человека, то как вы намерены реализовать второй закон? — Ключевое слово, — ответил Олег. — Когда человек произносит определенный ключ, «подсознание» на него реагирует и передает псевдоинтеллекту устойчивое желание выполнить просьбу человека. Алгоритмизацию же третьего закона мистер Доулинг сообщил неделю назад. «Подсознание» просчитывает, как скоро будет нарушено функционирование робота и, если этот срок превышает гарантию, то игнорирует причиняемый роботу вред. Мистер Доулинг, теперь вы поняли, чем моя концепция отличается от проекта «совесть»? — Полагаю, он понял, — ответил за Доулинга Березин. — И горит желанием продолжить сотрудничество с нами в течение следующих десяти лет. Спустя полгода первая модель робота с псевдоинтеллектом прошла полевые испытания. Программное обеспечение работало без сбоев, робот надежно контролировался законами Азимова. В самом конце испытания Ирвин К. Доулинг, проверяя возможности псевдоинтеллекта, произнес ключевое слово: — Человек. Робот повернулся в сторону Доулинга и застыл, ожидая приказа. — Скажи мне, кто я такой? Робот на секунду задумался, потом произнес два слова: — Ты Бог. На воскресенье Ирвин К. Доулинг взял отгул. — На пикник собрался? — спросил его Березин, подняв голову. — В церковь. К баптистам. — Ты же не верил в Бога? — удивился Березин. — Теперь верю, — сообщил Доулинг. — Если при реализации законов Азимова мы пришли к концепции Бога, почему этого не мог сделать кто-нибудь другой? Тот, кто создал людей. Игорь Книга. Небо не для всех