Привет, Хабр! 60 лет назад фантаст Станислав Лем очертил многие ожидания и страхи будущего, которое постепенно становится настоящим прямо на наших глазах. Он определил ряд центральных идей: вокруг них более поздние авторы будут строить даже не отдельные сюжеты, а категории тем. На примерах и цитатах из произведений Лема я покажу, как ему удалось увидеть будущее и показать, к чему могут привести изобретения и концепции, о которых в 60-е годы еще никто не задумывался. О самих технологиях писать не буду — за этим к Артуру Кларку, предсказавшему геостационарные спутники в статье «Ретрансляторы вне Земли». Итак, начнем!

У Лема практически нет «общей идеи», которую он исследовал бы в большинстве работ, в отличие, например, от Филипа К. Дика. Но он регулярно возвращался к нескольким мотивам. Особенно интересные и актуальные из них я оформила в виде списка. Начну с простого.

Парадокс «Корабль Тесея»

Остаемся ли мы теми же самыми людьми в ходе жизни, даже несмотря на то, что все наши клетки обновляются по несколько раз? Как повлияет на нас подключение кибернетических органов или даже внешних ассистентов для мышления? В конце концов, не так давно найдена вполне определенная зона мозга — клауструм, относительно тонкая пленка в его глубоких структурах, электрическое воздействие на которую, вероятно, приводит к кратковременному отключению сознания. Человек перестает реагировать на окружающее и не помнит о происходивших в этот момент событиях, хотя в остальном мозг функционирует как обычно. Экспериментальные работы на эту тему проведены в начале двадцать первого века, хотя более поздние исследования подвергают вывод сомнению.

Тема намечена в шуточной пьесе Лема «Существуете ли вы, мистер Джонс?». Это история о судебном процессе, в котором травмированный гонщик пытается доказать, что он существует как личность. В то же время корпорация, которая постепенно заменяла органы и конечности Джонса, заявляет, что теперь гонщик — ее вещь и вообще не личность. Джонс отрицает мнение корпорации, потому что либо он — личность, и тогда корпорация неправа, либо Джонс не личность, и тогда сам судебный процесс с его участием не имеет права существовать.

Вот, кстати, обложка журнала «Техника — молодежи» от 1957-го года, где опубликовали перевод этого текста:

«Джонс. К вашим услугам, господин судья. Джонс Гарри. Родился 6 апреля 1917 года в Нью-Йорке.

Адвокат. Разрешите, господин судья, по существу вопроса. Ответчик говорит неправду: он вообще не родился.

<...>

Ответчик купил в рассрочку протез левой ноги, уплатив первый взнос. Четыре месяца спустя он обратился к нам снова, заказав на этот раз протезы обеих рук, грудной клетки и шеи…»

Концовка неожиданно и логично закрепляет предъявленный парадокс, но не дает решения.

Целеполагание для ИИ и катастрофические сценарии

Сначала чуть контекста. У Лема есть два больших направления космофантастики. Условно «Пиркс» и «Ийон Тихий». Первый — это царство жесткой и довольно строгой научной фантастики. Второй — существенно более сказочный, едва ли не близкий к фэнтези. Разница примерно как между «Вавилоном-5» и «Стартреком».

При этом Ийон тоже может быть вполне серьезным, даже жутковатым, хотя зачастую и уклоняется в сатиру. Как, например, показывает нам его двадцать четвертое путешествие, где герой посещает отдаленную планету индиотов и узнает, как погибла их цивилизация.

«"Будет, как вы сказали! — промолвил конструктор. — В течение шести месяцев я построю Установитель Добровольного Абсолютного Порядка. Я берусь это сделать. Прощайте..."

"Погоди, — прервал его один из достойных. — Машина, которую ты построишь, должна действовать не только совершенно, но и приятно, то есть все создаваемое ею должно вызывать ощущения, которые удовлетворили бы самый изысканный вкус..."»

После чего за относительно короткий срок все представители цивилизации добровольно и по собственному выбору превращаются в блестящие и чрезвычайно прочные кружки, предназначенные для выкладывания приятных глазу узоров.

Как мы можем убедиться в том, что созданный нами искусственный интеллект будет делать именно то, что мы от него хотели бы, а не то, что мы ему сказали? Может ли он уничтожить человечество? Вопросы, типичные для форумов Элиезера Юдковского, — один из размещенных там прогнозов на эту тему написан чуть больше месяца назад. Но все это уже было в небольшом рассказе Лема. На всякий случай подчеркну — это 1953-й год.

Большие языковые модели

Первый пример не очень серьезный. Я нашла его среди рассказов о Трурле и Клапауции, где гениальный робот-изобретатель создает кибернетического поэта. Для контекста — это подборка в той или иной мере шуточных историй о цивилизации роботов, оставшейся после того, как люди давным-давно вымерли. Процитированная история относится к 1964-му году.

«— Пусть сочинит стихотворение о кибэротике! — сказал он наконец, радостно усмехаясь. — Пусть там будет не больше шести строк, а в них о любви и измене, о музыке, о неграх, о высшем обществе, о несчастье, о кровосмесительстве — в рифму и чтобы все слова были только на букву «К»!

— А полного изложения общей теории бесконечных автоматов ты случайно не предложишь? — заорал оскорбленный до глубины души Трурль. — Нельзя же ставить таких кретинских усло...

И не договорил, потому что сладкий баритон, заполнив собой весь зал, в этот момент отозвался:

Кот, каверзник коварный, кибэротоман,
К королеве кафров крадется Киприан.
Как клавесина клавишей, корсажа касается.
Красотка к кавалеру, конфузясь, кидается...
...Казнится краля, киснет: канул Купидон,
К кузине королевы крадется киберон!»

Это было шуткой. Сейчас уже нет, потому что Claude Sonnet с аналогом этой задачи справляется, и вряд ли это предел возможного.

Ближе к проблематике языковых моделей лежит «Терминус», еще один маленький рассказ 1961 года.

В нем, глазами протагониста Пиркса, мы видим древний корабль, восстановленный после катастрофы. На корабле есть гуманоидный автомат для починки реактора. Когда он залепляет цементом трубы, его руки выбивают код азбукой Морзе, воспроизводя последние сообщения умирающих космонавтов, которыми они общались через задраенные переборки. Робот не осознает эту свою особенность и вообще не полностью ориентируется в окружающей обстановке. Но когда назначенный командир корабля вмешивается в ритм и спрашивает:

«— Почему — Момссен — не — отвечает — прием…»

Ему отвечают:

«— Симон — это — ты...

— Говорит — Симон — не — я — кто — говорил — кто — говорил...»

Дальше Лем показывает, как капитан расценивает происходящее:

«Это какое-то физическое явление, более сложное, чем обычная запись: автомат — это ведь не прибор для фиксирования звуков. В нем возникла запись, наделенная некоторой самостоятельностью, изменчивостью. Запись, которой, как это ни странно звучит, можно задавать вопросы и узнать... все! Узнать о судьбе Симона, Нолана, Поттера и об этом непонятном, пугающем молчании командира...»

«В конце концов, нет тут ничего, кроме движения токов внутри железного ящика…»

«Они не существуют? А кто же тогда его звал, кто молил о помощи? И что изменится, если специалисты скажут, что за этими криками нет ничего, кроме циркуляции зарядов и колебаний, возбужденных резонансом пластин?»

Это очень напоминает многие обсуждения LLM. Более того, сейчас мы можем даже представить, как такая реакция на вмешательство в диалог была бы возможна. Автомат с достаточно качественным механизмом обработки естественного языка может выстроить модель мира или ее аналог.

Возможное будущее, которое мы уже видим

Теперь заглянем чуть дальше — в период, который может быть, в идеи, которые или начинают реализовываться, или могут начать проникновение в наш мир в ближайшее время.

В романе «Непобедимый» можно найти роевой псевдоинтеллект микромашин. Для контекста: в этом романе человеческий крейсер прибыл на практически мертвую планету: жизнь присутствует только в океане и избегает любых источников магнитного поля. Чуть раньше здесь погиб другой крейсер такого же класса — от него даже не было сигнала бедствия, если не считать отдельных несвязных сигналов. По мере расследования экипаж обнаруживает экосистему инопланетных роботов — результат миллионов лет ответов на вызовы среды. Один из их вариантов как минимум любопытен:

«Достаточно, чтобы каждый элемент "помнил", с какими другими элементами он непосредственно соединялся. Скажем, элемент номер один определенными поверхностями должен соединиться с шестью другими элементами; каждый из них "знает" то же самое о себе. Таким образом, количество информации, содержащееся в отдельном элементе, может быть ничтожно мало, но зато достаточно сигнала типа "Внимание! Опасность!", как образуются нужные контакты и мгновенно образуется "мозг". Но это, конечно, лишь примитивная схема. Я думаю, дело обстоит гораздо сложнее… Такие элементы наверняка довольно часто уничтожаются, что, однако, не отражается на деятельности целого…»

«Они ничего не имеют. Это просто кирпичики, из которых, в зависимости от потребности, строится то, что необходимо. Приходит сигнал: “Опасность!”. Появилось нечто, вызвавшее какие-то изменения, например изменение электростатического поля… Летающий рой немедленно образует "туче-мозг", и просыпается его общая "память": такие существа уже были, с ними боролись так-то, это привело к их уничтожению… И этот образ действия повторяется…»

Современная наука не дает четкого ответа, как именно возникают сложные действия муравьиных колоний. Мы знаем, что они сформированы в результате эволюции и что колонии способны к кратно более сложным действиям, чем отдельные муравьи или пчелы. Наконец, мы знаем, что генетические и эволюционные алгоритмы применимы к программным и кибернетическим конструктам. На стыке этих фактов и построен «Непобедимый».

Здесь мы можем говорить о ближайшем будущем. Развитие 5G и 6G, вероятно, приведет к взрывному росту IoT-устройств, общающихся между собой. Развиваются и применяются на практике технологии «туманных» вычислений. Конечно, отсюда до универсальных эволюционирующих микромашин Лема еще далеко, но концептуально они уже не выглядят невозможными.

Также любопытен «Голем XIV» из одноименной статьи сборника эссе «Мнимая величина». Компьютерный сверхинтеллект, не обладающий ни собственной личностью, ни характером, но способный представлять собой личность и характер по мере надобности, и исследующий человечество в целом просто потому, что в состоянии это сделать. А вот человечество познать его уже не в состоянии.

Очень трансгуманистическая вещь, написанная Лемом на позднем этапе его творчества, когда фантастические сюжеты интересовали его намного меньше, чем теории о разуме и жизни:

«Последней притчей будет сказка, в которой странник находит на распутье камень с надписью: "Налево пойдешь — головы не снесешь, направо пойдешь — пропадешь, а назад пути нет".

Это — ваш жребий, замыкающийся на меня, поэтому мне придется говорить о себе, что будет непросто, ибо я обращаюсь к вам так, словно мне приходится рожать кита через игольное ушко: оказывается, и это возможно, если соответственно уменьшить кита. Но тогда он уподобляется блохе — вот в чем моя главная трудность, когда я пригибаюсь пониже, примеряясь к вашему языку. Как видите, трудность не только в том, что вам не по силам взойти на мою высоту, но и в том, что сам я весь к вам сойти не могу: при спуске теряется то, что я должен был до вас донести».

«Теперь я снова могу вернуться к сказке о трех путях. Если вы пойдете по первому, горизонт вашей мысли не вместит всех знаний, необходимых для языкового творения. Конечно, барьер этот не абсолютен. Вы можете его обойти при помощи высшего Разума. Я или кто-то подобный мне смогли бы дать вам плоды этих знаний. Но только плоды, а не самые знания, поскольку ваш ум не вместит их. Так что вы, как ребенок, будете отданы под опеку; вот только ребенок, вырастая, становится взрослым, а вы уже не повзрослеете никогда. Как только высший Разум дарует вам то, чего вы постичь не сможете, он угасит ваш собственный разум. Именно об этом предупреждает надпись из сказки: выбрав эту дорогу, вы не сбережете голов.

Если вы пойдете по другому пути, не соглашаясь отречься от Разума, вам придется отказаться от себя, — а не только совершенствовать мозг, поскольку его горизонт невозможно раздвинуть достаточно широко. Тут Эволюция сыграла с вами мрачную шутку: ее разумный опытный образец был создан на пределе конструктивных возможностей. Вас ограничивает строительный материал, а также все принятые в процессе антропогенеза решения кода. Итак, вы взойдете разумом выше, согласившись отречься от себя. Человек разумный откажется от человека природного, то есть, как и остерегала нас сказка, homo naturalis погибнет.

Можете ли вы не трогаться с места, упорно оставаясь на распутье? Но тогда не избежать вам стагнации, а стагнация для вас — плохое убежище! Сверх того, вы сочтете себя узниками, очутитесь в неволе; ибо неволя не задана самим фактом существования ограничений: нужно ее увидеть, заметить на себе кандалы, ощутить их тяжесть, чтобы действительно стать невольником. Итак, либо вы вступите в стадию экспансии Разума, покинув свои тела, либо окажетесь слепыми при зрячих поводырях, либо, наконец, застынете в бесплодной угнетенности духа».

Наверняка список еще можно было бы продолжать и продолжать. Моя задача здесь не в том, чтобы заполнить его, а в том, чтобы сказать, что эта фантастика — особенно живая в дне сегодняшнем. Азимовские «Три закона робототехники» сейчас кажутся немного наивными. В отличие от Лема.

Теперь на минуту вернемся к хорошо известным современному читателю вещам. Название этого подраздела настолько очевидно, что я оставлю его как упражнение для вас.

Вы точно знаете, о чем здесь речь

Рассказ называется «Странные ящики профессора Коркорана», написан в 1960 году. Главный герой навещает сумасшедшего кибернетика, который «не верит даже в людей». Так его характеризуют в тексте, и вы поймете, что это значит, из дальнейшего контекста. Его лаборатория полна тихо жужжащих ящиков. В них — «самые совершенные электронные мозги», которые «ни к чему не пригодны, бесполезны». Единственная функция этих устройств — поддерживать эмуляции сознания.

«— Если даже и так, — быстро вмешался я, — то как же они не знают, что являются железными ящиками, а не рыжей девушкой или свяще…

Только это я и успел сказать, прежде чем он прервал меня:

— Не стройте из себя осла, Тихий. Вы состоите из атомов, да? Вы ощущаете эти атомы?

— Нет.

— Из атомов этих состоят белковые молекулы. Ощущаете вы эти свои белки?

— Нет.

— Ежесекундно днем и ночью вас пронизывают потоки космических лучей. Ощущаете вы это?

— Нет.

— Так как же мои ящики могут узнать, что они — ящики, осел вы этакий?! Как для вас этот мир является подлинным и единственным, так же точно и для них подлинны и единственно реальны сигналы, которые поступают в их электронные мозги с моего барабана... В этом барабане заключен их мир, Тихий…»

«— Но благодаря физике я знаю, что мое тело построено из атомов, — бросил я.

Коркоран категорическим жестом поднял руку.

— Он тоже об этом знает, Тихий. У него есть своя лаборатория, а в ней всякие приборы, которые возможны в его мире. Он видит в телескоп звезды, изучает их движение и одновременно чувствует холодное прикосновение окуляра к лицу — нет, не сейчас. Сейчас, согласно со своим образом жизни, он один в саду, который окружает его лабораторию, и прогуливается под лучами солнца — в его мире сейчас как раз восход».

В пост не вошли идеи, с которыми мы совершенно точно не столкнемся. Это не означает, что они плохие или что глубина их проработки хоть в чем-то хуже — просто мы вряд ли когда бы то ни было увидим Солярис из одноименного произведения. Этот текст не о нем, равно как и не о замкнутых петлях времени, в которых между понедельником, средой и пятницей блуждал Ийон Тихий в одном из своих путешествий. Точно так же я сомневаюсь, что человечество успеет изобрести бетризацию — вакцину от насилия, так что мир «Возвращения со звезд» нам тоже не светит.

Если вы хотите открыть для себя Лема под углом, предложенным в этом посте, то я бы советовала начать с «Рассказов о пилоте Пирксе», в которые входит и «Терминус». На самом деле весь этот пост можно было бы писать на материале одного только Пиркса с небольшой примесью «Дневников Ийона Тихого» и «Из воспоминаний Ийона Тихого». Как я упомянула выше, Пиркс — чистая научная фантастика, Ийон — больше сказка, реалистичная примерно так же, как «Стартрек». Еще советую найти и полностью прочесть «Непобедимый». Кстати, о нем — в Steam продается вполне легальный приквел к книге в виде своеобразного и крайне атмосферного «симулятора ходьбы», с нелинейным сюжетом, но с крайним уважением к источнику. Просто оцените дизайн! Скриншот сняла сама:

С некоторым сомнением советую «Кибериаду» и «Сказки роботов» — вас может отпугнуть стилизация текста под архаический, сказочный слог. Пример:

«Путешествие шестое, или Как Трурль и Клапауций Демона Второго Рода создали, дабы разбойника Мордона одолеть».

Из-за этого я все-таки решила практически исключить эти рассказы из своего текста, хотя тут можно было бы сказать о целом ряде.

Если выйти за пределы темы предвидения, то из позднего Лема хорошо читаются «Мир на земле» и «Футурологический конгресс». Еще мне очень нравится «Возвращение со звезд». «Солярис» — признанная и общеизвестная классика, которая тоже поможет составить первое впечатление. Если приведенные тексты порадуют, дальше смело берите все подряд. Но стоит помнить, что поздние работы Лема в меньшей степени фантастика, в большей — футурологические эссе.

В качестве постскриптума: что нужно сделать, если ваш телепортатор людей воспроизвел на выходе две копии одного человека на входе? Затолкать обратно на дезинтеграцию обоих, конечно же.

В качестве пост-постскриптума: я очень надеюсь, что где-то на Земле уже живет личность, которая наметит штрихи 2130-х годов.

На этом у меня все. Была рада оформить для вас эту подборку. Возможно, вам есть что добавить к списку? Пишите в комментариях — и, кстати, не ограничивайтесь только Лемом. Сам факт возможности заглянуть за горизонт — вот что интересует.

^{—цитата после титров—}

«Экток ничем или почти ничем не отличается от живого, но знает, что он неживой. Он дышит, но легкие его раздуваются как бесполезные мехи. Сон ему тоже не нужен. Он мыслит быстрее и лучше тех, у кого теплый, снабжаемый кровью мозг. В духовном смысле он остается тем же существом, что и прежде: структуры мозга, образующие личность, не только не изменились, но даже упрочились. Не живя, он не может ни состариться, ни умереть. Он не болеет и не испытывает боли. Нельзя назвать его андроидом или роботом, ведь он до последней косточки, до последней клетки такой же, что и до эктофикации. То, что он не такой же, можно обнаружить лишь при помощи биопсии и электронного микроскопа, в котором видна тончайшая атомная структура его организма. Речь, следовательно, идет о фальсификате, который во многом превосходит оригинал, ибо надежнее и долговечнее его».