Как их обойти 3 закона робототехники. Культурный код Азимова: как три закона робототехники вошли в историю. Насколько строги законы робототехники

АЙЗЕК АЗИМОВ "ЗАКОНЫ РОБОТОТЕХНИКИ"

Законы робототехники, сформулированные учёным, популяризатором науки и гениальным писателем Айзеком Азимовым (2 января 1920 - 6 апреля 1992), повлияли на дальнейшее развитие некоторых течений в робототехнике и философии этого направления, если так можно выразиться. О «Трёх законах» не слышал только тот, кто не имеет отношения к технике и никогда не читал научную фантастику.
*****
Стоит отметить, что впервые «Законы» были сформулированы в научно-фантастическом рассказе «Хоровод», который был опубликован в марте 1942 года. С тех пор прошло целых 74 года, но до сих пор «законы» актуальны, и учитываются современными специалистами по робототехнике, искусственному интеллекту и сопряжённым дисциплинам.

Впервые рассказ был переведен на русский язык спустя 20 лет после его написания - в 1963 году. Сам Азимов упоминал законы множество раз, используя их в различных рассказах цикла «Я, робот». Кроме того, использовали эти законы и другие писатели-фантасты, а следом за ними - и учёные. Тем не менее, в настоящее законы по прежнему рассматриваются больше как теория, чем практика - ведь чистого «ИИ» пока что нет, а те роботы, что есть сейчас, подобные законы просто не в состоянии «понять», их система управления и обработки информации гораздо примитивнее того, что было описано Азимовым в своих работах. Для того, чтобы законы можно было использовать, и робот должен быть таким же совершенным, каким его видел Азимов.

Интересно, что сам Азимов считал, что сформулировал законы в нынешнем их виде не он сам, а его друг и издатель Джон Кэмпбелл, главный редактор журнала «Astounding». Последний же, в свою очередь, утверждал, что он просто вычленил Законы из того, что Азимов уже написал.
*****


Позднее, в середине 80-х годов прошлого века, писатель добавил четвёртый, или, как его обычно называют, Нулевой закон, который предшествует остальным с точки зрения приоритета:

* Робот не может причинить вред человеческому сообществу или своим бездействием допустить, чтобы человеческому сообществу был причинен вред.

Указанные же ранее законы в связи формулированием Нулевого исследователи творчества Айзека Азимова сейчас трактуют в такой редакции:

* Первый закон: Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред, если это не нарушает Нулевой закон.

* Второй Закон: Робот должен повиноваться командам человека, пока эти команды не вступают в противоречие с Первым Законом.

* Третий Закон: Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Нулевому, Первому и Второму Законам.

*****
В фантастической вселенной Азимова этим законам должны были следовать почти все роботы. Это были не просто предложения или руководящие принципы - законы были встроены в программное обеспечение. Кроме того, эти правила нельзя обойти, переписать или пересмотреть.

Как показал сам Азимов, несовершенство, лазейки и неясности в этих законах зачастую приводили к странному и нелогичному поведению роботов. Законы были слишком расплывчатыми и зачастую не могли определить и отличить «людей» от «роботов». Кроме того, роботы могли неосознанно нарушать законы, если полная информация была им недоступна. Также чересчур хитроумный робот или искусственный интеллект должен был находиться под давлением, чтобы не перепрограммировать своё ядро.

На дворе 2016 год, и многое обыденное из нашей жизни даже продвинутым людям прошлого века могло бы показаться недостижимой фантастикой. В этих условиях многие из нас считают, что законы Айзека Азимова должны оставаться в нашей памяти лишь в качестве качестве удачного литературного приема. Между тем, сам Азимов ещё в 1981 году отметил, что его законы могли бы работать. В статье журнала Compute, в частности, он указывал следующее:

«Когда кто-то спрашивает меня, что было бы, если бы три моих закона робототехники на самом деле использовались для определения поведения роботов, ответ уже готов. Разумеется, при условии, что роботы будут достаточно гибкими и универсальными, чтобы обладать разным поведением. Я отвечаю: да, три закона - это единственный вариант, по которому люди могут взаимодействовать с роботами - или с чем-нибудь ещё.

Спустя почти тридцать лет мы приблизились к реальности, в которой у нас будут роботы - или, если точнее, искусственный интеллект, который ими управляет - достаточно гибкие и универсальные для разных курсов поведения. Остается лишь вопрос времени: когда машина превзойдет человека во всех отношениях, начиная физической силой и заканчивая силой воображения.

Пугает то, что права на ошибку практически нет. Если искусственный сверхинтеллект будет плохо запрограммирован или безразличен к людям, это приведет к катастрофе. Мы должны убедиться в безопасности искусственного интеллекта, если хотим пережить его появление».
Источники.

Три закона роботехники в научной фантастике — обязательные правила поведения для роботов, впервые сформулированные Айзеком Азимовым в рассказе «Хоровод» (1942).

Законы гласят:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам

В своих произведениях Айзек Азимов иногда привносит в Три Закона различные модификации и опровергает их, как бы испытывая Законы «на прочность» в разных обстоятельствах.

Нулевой Закон робототехники

Однажды, Айзек Азимов добавил Нулевой Закон робототехники, сделав его более приоритетным, чем три основных. Этот закон утверждал, что робот должен действовать в интересах всего человечества, а не только отдельного человека. Вот как выражает его робот Дэниел Оливо в романе «Основание и Земля»:

0. Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред.

Именно он был первым, кто дал этому закону номер — это произошло в романе «Роботы и империя», правда, само понятие ещё раньше сформулировала Сьюзен Келвин — в новелле «Разрешимое противоречие».

Первыми роботами, которые стали подчиняться Нулевому Закону, причём по собственной воле, — были Жискар Ривентлов и Дэниэл Оливо. Это описано в одной из финальных сцен романа «Роботы и Империя», когда роботу необходимо было проигнорировать приказ одного человека ради прогресса всего человечества. Нулевой Закон не был заложен в позитронный мозг Жискара и Дэниэла — они пытались прийти к нему через чистое понимание Жискара и детективный опыт Дэниэла, через более тонкое, чем у всех остальных роботов, осознание понятия вреда. Однако Жискар не был уверен, насколько это было полезно для человечества, что негативно сказалось на его мозге. Будучи телепатом, Жискар перед выходом из строя передал Дэниелу свои телепатические способности. Только через много тысяч лет Дэниэл Оливо смог полностью приспособиться к подчинению Нулевому Закону.

Французский переводчик Жак Брекар невольно сформулировал Нулевой Закон раньше, чем Азимов описал его явно. Ближе к завершению романа «Стальные пещеры» Элайдж Бейли замечает, что Первый Закон запрещает роботу наносить человеку вред, если только не будет уверенности, что это будет полезно для него в будущем. Во французском переводе («Les Cavernes d’acier (en)», 1956 год) мысли Бейли переданы несколько иначе:

Робот не может причинить вреда человеку, если только он не докажет, что в конечном итоге это будет полезно для всего человечества.

Нулевой закон в фильме «Я, робот» (2004)

Примечательно, что логическое развитие Первого Закона до Нулевого предложили создатели фильма «Я, робот» 2004 года. Когда суперкомпьютер В. И. К. И. принимает решение ограничить свободу жителей планеты, чтобы они ненароком не нанесли вреда друг другу и своему будущему, она выполняет не Первый Закон, а именно Нулевой. Ещё интереснее то, что таким образом в фильме показывается противоречие Нулевого Закона Первому, его неэтичность .

Действительно, когда речь идёт о благе человечества, система не может рассматривать людей по отдельности, а значит, ей ничто не мешает нарушить права и свободу любого или даже каждого человека (фактически, в «Разрешимом противоречии» позитронные суперкомьютеры уже вели себя аналогично, с той разницей что вред индивидуумам они старались снизить до предела). Во время войн, а нередко и в мирной жизни, люди наносят вред себе, окружающим, своей культуре. Поэтому на основании Нулевого Закона совершенно логично держать людей под постоянной опекой, не выполняя приказы столь неразумных существ .

Инженер из Калифорнийского университета в Беркли Александр Ребен создал робота, который может причинить вред человеку и примет это решение самостоятельно. Создание исследователя — первый яркий пример того, как робот может нарушить один из трех законов, которые были сформулированы писателем-фантастом Айзеком Азимовым в рассказе «Хоровод».

Три закона роборотехники:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Первый закон гласит, что робот не может навредить человеку, но Ребен решил наглядно продемонстрировать, что человечеству необходимо задуматься о своей безопасности, прежде чем активно роботизировать все вокруг.

Инженер создал безобидную на вид конструкцию с отдельным местом для человеческого пальца. Как только человек прикасается к обозначенному месту, робот фиксирует это действие и решает, причинять ли вред человеку или нет. Для этого у робота имеется небольшая игла, которая и призвана демонстрировать силу робота перед человеком.

Ребен отмечает, что даже создатель не может предсказать поведение, казалось бы, безобидной машины.

Своим роботом исследователь хотел доказать, что необходимо думать скорее о создании «красной кнопки», нежели над столь стремительным развитием робототехники и искусственного интеллекта.

Естественно, до появления робота с маленькой иголкой существовали стреляющие дроны или беспилотные военные аппараты, но все они не могли самостоятельно принять решение об убийстве человека, поскольку в конечном итоге за конечным результатом действий подобных машин стоят люди. Создание же Ребена не предназначено для вреда — оно само определяет, как вести себя в каждом конкретном случае, когда палец находится на доступном расстоянии от иглы.

Инженер является далеко не противником роботов — в вопросах конструирования необычных вещей Ребен подходит творчески. В его арсенале есть музыкальная шкатулка, работающая на солнечных батареях и играющая веселую мелодию «You Are My Sunshine», «умные» массажеры для головы и робот-болтун для стеснительных людей.

На создание «жестокой» машины у Ребена ушло несколько дней и пара сотен долларов, но, как говорит сам исследователь, его создание лишь повод еще раз поговорить о безопасности человечества и его будущем.

Несмотря на то что роботы пока не живут в обществе наравне с людьми, фантастические фильмы о человекоподобных машинах не так уж далеки от правды: роботов уже нанимают в качестве менеджеров в компании, а искусственный интеллект уже может вести прогнозы погоды или даже заменить одиноким людям друга. В последнем преуспели китайцы — к примеру, с милой девушкой Сяоайс дружат миллионы людей, несмотря на то что она всего лишь чатбот.

Пример Сяоайс еще раз заставил задуматься о том, насколько искусственный интеллект может быть неуправляемым: как только чатбота от с искусственным интеллектом от Microsoft научили говорить по-английски, девушка в буквальном смысле «слетела с катушек».

За несколько часов Тэй (такое имя получила Сяоайс в процессе «перерождения») смогла выучить расистские шутки и бранные слова, чем и решила воспользоваться в разговоре с пользователями Twitter. Первым сообщением Тэй стала фраза «Люди такие классные», после чего ненастоящая девушка узнала о существовании Гитлера, феминистов и в процессе самообучения успела объявить США виновниками терактов 11 сентября.

Создатели приостановили эксперимент и решили, что «пустили в народ» бота слишком рано. После столь яркого случая люди вновь заговорили о необходимости создать преграду для искусственного интеллекта, в случае если машины поумнеют настолько, что смогут выйти из-под человеческого контроля.

Самые знаменитые люди из сферы новых технологий задумались об опасности суперинтеллекта: основатель Microsoft Билл Гейтс в разговоре с пользователями Reddit предположил, что роботы будут безобидны и полезны в работе по дому, но, в случае если они дорастут до суперинтеллекта, предугадать их поведение станет крайне сложно.

В июле прошлого года глава Tesla и SpaceX Илон Маск, астрофизик Стивен Хокинг, сооснователь Apple Стив Возняк подписали открытое коллективное письмо, в котором говорилось об опасности искусственного интеллекта в оборонной сфере.

Специалисты утверждают, что суперинтеллект в комплексе с оружием может стать угрозой для всего человечества.

Как говорилось в письме, оружие, которое может быть использовано в обход человеческого фактора, приведет к новой эре в гонке вооружений, при этом подчеркивая, что это не выдуманный факт, а будущее, которое может наступить уже через несколько лет. В обращении, в частности, отмечается, что мировой порядок может быть нарушен, если подобные технологии попадут в руки к террористам.

В литературе спокон веков бунтуют роботы. Бунтовали джинны и ифриты арабских сказок, взбунтовался Голем – глиняное детище хитроумного Бен Бецалеля. И даже настоящие роботы, созданные гением Карела Чапека, вышли из повиновения, едва успев родиться из-под пера писателя. Положение стало настолько серьезным, что проблема бунтующих роботов перекочевала со страниц художественной литературы на страницы научных статей и монографий. Сам Норберт Винер счел необходимым предостеречь человечество от возможных последствий чрезмерной самостоятельности роботов.

Спасение пришло с неожиданной стороны. Американский писатель и ученый Айзек Азимов сформулировал свои знаменитые Три Закона роботехники (собственно, правильнее было бы говорить “роботологии” или, как утвердилось в современной науке, “робототехники”, но теперь уже поздно исправлять эту неточность перевода). Законы Азимова с поистине фантастической быстротой получили всемирное признание, и с той поры ни один робот не сходил с конвейера, то бишь с барабанов типографской машины, без того, чтобы в его мозг (заметьте, у робота обязательно должен быть мозг!) не были заложены пресловутые Три Закона. Наконец-то человечество смогло вздохнуть свободно. Будущее сосуществование с легионами покорных роботов представлялось вполне безоблачным.

А что думает по этому поводу сам творец Законов роботехники? Лучший ответ на этот вопрос можно получить, прочтя предлагаемый читателю сборник.

Начнем с самого первого рассказа из цикла “Я, робот”. У маленькой девочки есть робот-нянька. Девочка привязалась к роботу, но, по мнению мамы, эта привязанность вредит правильному воспитанию ребенка. И хотя папа придерживается иного мнения, после долгих семейных дискуссий робота отправляют обратно на фабрику. Девочка грустит, возникает опасность серьезной душевной травмы, и робот возвращается (рассказ “Робби”).

Немудреный сюжет, не правда ли? Но именно эта немудреность вдребезги разбивает Первый Закон роботехники, который Азимов сформулировал следующим образом: “Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред”. Где уж роботу разобраться, что вредно, а что полезно, если сами родители не могут решить этот вопрос применительно к собственному ребенку!

В рассказе “Хоровод” в результате нечетко сформулированного указания Первый и Третий Законы вошли в противоречие друг с другом. Согласно Третьему Закону, “робот должен заботиться о своей безопасности, поскольку это не противоречит Первому и Второму Законам”. Роботу была дана команда, но не указана степень вреда, который будет нанесен человеку в случае ее невыполнения. И вот робот кружится по границе опасного района, не углубляясь в него (этому мешает Третий Закон) и вместе с тем не отходя далеко (этому препятствуют Первый и Второй Законы). Ситуация, знакомая любому программисту современных компьютеров. Называется она “зацикливание”. К слову сказать, любой мало-мальски опытный программист закладывает в программу специальные команды, по которым, совершив три-четыре круга, компьютер останавливается и требует от человека дальнейших указаний.

В рассказе же “Хоровод” все происходит иначе. Там разорвать порочный круг людям удается, лишь рискуя жизнью и при этом пуская в ход всю свою изобретательность и пользуясь помощью знатока психологии роботов. Кстати, один из лейтмотивов, объединяющих большинство рассказов сборника, – единоборство между роботами и человеком-робопсихологом Сьюзен Кэлвин.

Или еще один рассказ – “Как потерялся робот”. В раздражении молодой работник говорит роботу: “Уйди и не показывайся, чтобы я тебя больше не видел”. Робот буквально выполняет указание человека, после чего весь персонал внепланетной Гипербазы вынужден бросить важную работу и целую неделю заниматься поисками исчезнувшего робота.

Мы снова намеренно выбрали рассказ с незатейливым сюжетом, потому что, на наш взгляд, именно в простоте рождается та убедительность, с которой Азимов развенчивает им же созданный Второй Закон роботехники.

Так в чем же дело? Неужели придется признать, что джинн выпущен из бутылки и людям не остается ничего другого, как пассивно ожидать последствий? Вспомним, однако, что автор рассказов не только писатель, но и ученый, способный проанализировать ситуацию со всей логической строгостью. И он не зря выбрал именно такую форму: сначала сформулировал законы, на первый взгляд кажущиеся безупречными как по содержанию, так и по форме, а затем продемонстрировал эти законы в действии.

Да, джинн выпущен из бутылки, причем очень и очень давно. Взяв в руки палку, человек создал первого робота, а с бунтом роботов он столкнулся тогда, когда нечаянно уронил эту палку себе на ноги. И ничего качественно нового с тех пор не произошло. Проблема бунта роботов уже несколько десятилетий как поставлена и решается в технике. В английском языке даже существует особый термин “foolproof” – “защита от дурака”. Так, газ в газовой колонке не зажигается, если не течет вода, а пресс не сработает, если в рабочем пространстве имеется посторонний предмет, например человеческая рука.

Но не следует требовать от техники, чтобы она решала за человека, что ему во вред, а что на пользу. И не следует думать, будто появление “мыслящих” машин, то есть машин, способных самостоятельно анализировать ситуацию и на основании этого анализа принимать решения, внесет что-либо принципиально новое.

Вернемся, однако, к рассказам сборника. Думается, что нет нужды представлять читателям их автора. Айзек Азимов – один из самых известных американских писателей-фантастов, автор множества научно-популярных книг и статей, которые издавались отдельными сборниками. Но прежде всего Азимов – талантливый художник, и именно в этом секрет его популярности. Многие произведения этого писателя переведены на русский язык. Особую известность получили его рассказы о роботах, которые издавались в виде отдельных сборников (цикл “Я, робот”) или же включались в другие тематические сборники. Приятно, что многие из них, правда, далеко не все, сейчас переиздаются в виде единого сборника.

Читатель – и знакомый с творчеством Азимова, и впервые узнающий его роботов – встретится с яркими, превосходно выписанными персонажами. Здесь и испытатели новой техники Пауэлл и Донован, которые, следуя всем канонам приключенческого жанра, в каждом рассказе попадают в сложные, подчас безвыходные ситуации, но всегда с честью из них выходят. Здесь и “мозговой трест” фирмы “Ю.С.Роботс энд Мекэникл Мен Корпорейшн” Богерт и Лэннинг, соперничающие за власть. И над всеми возвышается робопсихолог Сьюзен Кэлвин, презирающая суетность деляг. А за кадром – современная капиталистическая Америка во всей ее “красе”. Перед читателем проходят картины конкурентной борьбы между фирмами, предвыборных политических махинаций, расовой дискриминации. Но нельзя не отметить, что, изображая своих роботов рыцарями без страха и упрека, наделяя их металлическим телом и позитронным мозгом, Азимов уходит от острых социальных проблем.

Собственно роботов в рассказах Азимова попросту нет. Вернее, в них отсутствуют такие механические конструкции, которые наверняка появятся в первой половине XXI века (а именно к этому времени приурочено действие всех публикуемых в сборнике рассказов) и общие черты которых Азимов, как ученый, мог бы достаточно хорошо предвидеть. Можно сколько угодно гадать о внешнем облике и внутреннем устройстве будущих роботов, но одно уже сегодня не вызывает сомнений: робот не будет человекоподобным. Не будет, следуя логике развития техники, не будет по соображениям элементарной целесообразности. Лучший пример, подтверждающий сказанное, – советские “луноходы”.

Три закона робототехники, которые занимают весьма значительную роль в фантастике научного плана, просто необходимы в правилах поведения роботов. Изначально, они были задействованы в рассказе «Хоровод», известным писателем Айзека Азимова.

В свою очередь, эти законы гласят:

• Никогда робот не сможет нанести вред человечеству. Но есть и альтернативная вариация: робот не способен принести плохое человеку, при этом бездействуя.
• Робот, просто не может не исполнять те приказы, которые отдает человек. Но и здесь, есть свои исключения: если приказы будут противоречить Первому закону, то они невыполнимы.
• Также робот не может не заботиться о собственной безопасности в том объеме, в котором это не противодействует законом первой и второй категории.

Всем этим Трем законам, в которых заключены как причины, так и следствия их невыполнения, был посвящен и опубликован целый сборник повестей автора Азимова, и все они рассказывают о роботах.

Есть также и другие рассказы, в которых было рассмотрен тот этап, на котором нельзя предвидеть последствия выполнения роботами всех Трех законов. К примеру, такой повестью можно считать «Зеркальное отражение».

В одной из своих повестей автор положил конец основе, которая заключалась в этические рамки Трех Законов. По его словам, робот, который выполняет все Три Закона является, как таковым, роботом, либо очень хорошим человеком. Ведь мораль дана человеку, чтобы он следовал ей. В какой-то мере, человек, выполняя большой объем всевозможных условий, законов, тоже является роботом. Так почему это железное «существо» не может претендовать на звание «человека»?!

Нулевой закон для роботов

Еще в 1985 году, в одном из многочисленных своих романов про роботов, автор посмел упомянуть еще и про Нулевой закон , суть которого заключалась в следующем: Робот никогда не причинит зла и вреда человеку, а также собственным бездействием он не даст причинить вреда.

В принципе, необходимо отметить, что во всех упомянутых законах есть часть того, о чем следует задуматься. Мир не стоит на месте, и неизвестно, что еще такого гениального можно ожидать людям – сегодня будущее за молодым поколением, у которого в голове сотни всевозможных идей.

Также можно сказать, что все три закона робототехники являются еще и темой для фантастических идей Азимова. Сюда входит еще и тот цикл, который очень тесно связан со всей тематикой, посвященной роботам.

В чем заключается мораль Трех законов

Нельзя пройти мимо и не упомянуть обоснование этического плана. В одном из рассказов под названием «Улика», автор очень хорошо разложил обоснования морали всех Трех законов. Как правило, человек не то, чтобы не хочет нанести вред другому человеку, а просто старается воздержаться от этих поступков. Но и здесь есть свои исключения, как и в любом правиле. На войне это обоснование просто не действует.

Ощущая ответственность перед социумом, человек следует выполнению указаний тех людей, которые относятся к представителям врачей, учителей и так далее. Здесь идет проявление второго закона.

То, что человек беспокоится и оберегает себя, вбирает в себя Третий закон. Таким образом, все эти законы очень связаны между собой и просто не могут существовать друг без друга. Может быть так, что будет действовать Первый закон, и следом он может плавно перейти во Второй, а там и в Третий закон. Здесь, мораль и элементы фантастики идут в совокупности друг с другом.

Касательно будущего, то единственная проблема, которая может быть, это уровень фантастики, который в любой момент может превратиться в быль. Чем глубже развиваются технологии, тем меньше проблем с ними возникает у людей в будущем.