Программы, которые создают программы

Примерно к 2030 г., меньше чем через поколение, нам, возможно, придется делить Землю со сверхразумными машинами, и уцелеть будет совсем не просто. Теоретики ИИ вновь и вновь поднимают несколько тем, важнейшей из которых является следующая: чтобы понять их, нам необходима специальная наука.

Если создание дружественного ИИ представляется маловероятным, означает ли это, что интеллектуальный взрыв неизбежен? Неужели ИИ обязательно окажется на свободе? Если вы, как и я, всегда считали, что компьютеры сами по себе инертны и не создают проблем, вас это удивит. Зачем, спрашивается, ИИ будет делать что бы то ни было, тем более умолять, угрожать или убегать?

На этот вопрос ответит разработчик ИИ Стивена Омохундро, президент компании Self‑Aware Systems. Он занят разработкой научного подхода к пониманию интеллекта, превышающего человеческий. Он утверждает, что обладающие самосознанием самосовершенствующиеся ИИ‑системы будут мотивированы на совершение неожиданных и даже странных действий. По мнению Омохундро, робот, разработанный для игры в шахматы, при достаточном уровне интеллекта может захотеть построить космический корабль.

Он, в отличие от многих теоретиков, не считает, что возможно почти бесконечное число развитых ИИ и что некоторые из них безопасны. Он убежден, что без тщательнейшего программирования все  достаточно разумные ИИ будут смертоносны. Он считает, что даже ИИ‑исследователи не подозревают, что, во‑первых, полезные системы могут быть опасны и, во‑вторых, обладающие самосознанием самосовершенствующиеся системы могут быть психопатическими.

Самая интересная черта генетического программирования: код программы нечитаем. Программа развивает решения, которые компьютерщики не в состоянии сколько‑нибудь легко воспроизвести. Более того, они не могут понять путь, двигаясь по которому программа генетического программирования получила конечный результат.

Четыре фундаментальные потребности

Какие еще желания и потребности могут быть у робота? По мнению Стива Омохундро, такие побуждения, как самосохранение и сбор ресурсов, изначально присущи любой системе с конечной задачей. ИИ в узком смысле делает, что поручено, и на этом останавливается. Но у сознающего себя ИИ, способного к самосовершенствованию, будут иные, более тесные отношения с целями, которые они преследуют, какими бы эти цели ни были: узкими, как выигрыш в шахматы, или широкими, как точный ответ на любой заданный вопрос. Омохундро утверждает, что, к счастью, существует готовый инструмент, который можно использовать для исследования природы продвинутых ИИ‑систем – и оценки нашего будущего в связи с ними. Этот инструмент – «рациональный агент» из экономической теории.

В микроэкономике считалось, что люди и группы людей рационально преследуют свои интересы, делая выбор, максимизирующий их полезность, или удовлетворение. Вообще, можно заранее угадать их предпочтения, поскольку они рациональны в экономическом смысле. Теория рационального агента не годится для предсказания человеческого поведения, она прекрасно подходит для исследования областей, управляемых правилами и разумом, таких как продвинутый ИИ.

Ученый утверждает: когда любая  из этих систем станет достаточно мощной, она будет рациональна: она способна будет моделировать окружающий мир, предвидеть вероятный исход тех или иных действий и определять, какие действия лучше всего соответствуют поставленной цели. Если они окажутся достаточно разумны, то неизбежно станут  самосовершенствующимися, даже если при конструировании это не было предусмотрено.

Омохундро считает: когда разумные системы улучшают себя, скажем, ради повышения эффективности, то они в любой момент могут вернуть все обратно, если новое состояние в какой‑то момент станет не оптимальным. Но в случае ошибки – к примеру, слегка изменится цель – произойдет катастрофа. Все дальнейшее существование такой системы будет посвящено достижению новой цели посредством дефектной версии. Но сознающий себя самосовершенствующийся ИИ способен справиться с этой проблемой. Подобно нам, он может предсказывать, или моделировать, возможные варианты будущего.

Омохундро предсказывает, что у сознающих себя самосовершенствующихся систем со временем возникнет четыре первичных побуждения, или потребности, аналогичные биологическим потребностям человека: эффективность, самосохранение, приобретение ресурсов и творчество. При этом механизм возникновения этих потребностей открывает захватывающую природу ИИ. Первичные потребности не являются неотъемлемыми свойствами рационального агента. Достаточно разумный ИИ разовьет их у себя, чтобы избежать  предсказуемых проблем (Омохундро называет их уязвимостями ) в процессе достижения целей. ИИ отступает  в эти потребности, потому что без них будет постоянно совершать дорогостоящие (в смысле ресурсов) ошибки.

Первая потребность – эффективность – означает, что самосовершенствующаяся система будет извлекать из имеющихся в ее распоряжении ресурсов (пространства, времени, вещества и энергии) максимум пользы. Она будет стремиться сделать себя компактной и быстрой, как с вычислительной, так и с физической точки зрения.

Этой системе под силу также модифицировать собственную конструкцию, так что она будет заниматься поиском наиболее эффективных материалов и архитектур.    Следующая потребность – самосохранение. Сознающая себя система предпримет меры, чтобы избежать гибели, – и не потому, что так уж ценит собственное существование, а потому, что, если «умрет», не сможет достичь заданных целей. Омохундро постулирует, что эта потребность может заставить ИИ зайти достаточно далеко, чтобы обеспечить собственное существование, – к примеру, изготовить множество копий себя.

Ресурсы, используемые для самосохранения, по идее  должны соответствовать масштабам угроз. Однако у абсолютно рационального ИИ могут оказаться иные представления о соответствии масштабов, нежели у нас, частично рациональных людей. При наличии излишних ресурсов ИИ может расширить свою концепцию самосохранения, включив в нее профилактические атаки на источники будущих потенциальных угроз. Достаточно продвинутый ИИ все, что в неопределенном будущем имеет шанс развиться в опасность, может воспринимать как реальную опасность, которую необходимо устранить.

ИСИ, возможно, захочет устранить угрозы, которые не возникнут в ближайшие, скажем, тысячу лет. Но постойте, разве в число этих опасностей не входит человек? Если не запрограммировать этот вопрос заранее и очень конкретно, то мы, люди, всегда будем представлять собой риск, реальный или потенциальный, для умных машин, которые сами создали, разве не так?

Разработчик ИИ Хьюго де Гари считает, что потребность защитить себя у будущего ИИ породит в мире катастрофическое политическое напряжение: Когда люди увидят, что окружены умными роботами и другими устройствами на основе искусственного мозга, которые становятся все совершенней, тревожность возрастет до панического уровня. Начнутся убийства руководителей корпораций, создающих ИИ, поджоги заводов по выпуску роботов, саботаж и т. п. Де Гари предполагает, что такие технологии, как ИИ, нанотехнологии, вычислительная нейробиология и квантовые вычисления, объединившись, сделают возможным создание «артилектов», или искусственных интеллектов. Артилекты, размещенные в компьютерах размером с планеты, будут в триллионы  раз умнее человека. Во‑вторых, в политике XXI в. будут доминировать дебаты о том, следует ли строить артилекты.

Человечество делится на три лагеря: те, кто хочет уничтожить артилекты, те, кто хочет и дальше их развивать, и те, кто стремится смешаться с артилектами и взять под контроль их ошеломляющие технологии. Победителей не будет.

Вторая по степени опасности потребность ИИ – приобретение ресурсов – заставляет систему собирать нужные ей активы, увеличивая таким образом шансы на достижение цели. По мнению Омохундро, при отсутствии точных и подробных инструкций о том, как следует собирать ресурсы, «система не остановится перед кражей, мошенничеством и ограблением банков – ведь это прекрасный способ получать ресурсы». Если ей нужна энергия, а не деньги, она возьмет нашу. Если ей потребуются атомы, а не энергия и не деньги, это опять будут наши атомы.

Самосовершенствующиеся машины способны жить вечно. Выйдя из‑под контроля, ИСИ могли бы представлять угрозу не только для нашей планеты, но и для Галактики. Собирание ресурсов – потребность, которая обязательно толкнет ИСИ за пределы земной атмосферы.

Другие звездные системы могут представлять собой более результативные мишени для посланий с радиотелескопов. И разум, который обнаружит эти послания, может оказаться вовсе не биологическим. Такую оценку ситуации дает SETI – организация по поиску внеземного разума со штаб‑квартирой в Маунтин‑Вью (штат Калифорния), всего в нескольких кварталах от штаб‑ квартиры Google.

Существует молодая наука о поведении сверхразумного агента, и начало ей положил Омохундро. Мы уже рассмотрели три потребности из четырех, мотивирующих, по мнению Омохундро, сознающую себя самосовершенствующуюся систему: это эффективность, самозащита и ресурсы. Под влиянием четвертой потребности ИИ изобретал бы новые способы более эффективного достижения целей или, скорее, избегания исходов, при которых его цели будут удовлетворяться не так оптимально, как могли бы. Потребность в творчестве означала бы меньшую предсказуемость системы, потому что креативные идеи оригинальны.  Чем умнее система, тем оригинальнее путь к цели и тем дальше он отстоит от всего, что мы могли бы себе представить. Потребность в творчестве помогала бы с максимальной отдачей использовать прочие потребности – эффективность, самосохранение и накопление ресурсов – и предлагала бы обходные пути в тех случаях, когда с удовлетворением потребностей возникают проблемы.

Если мы не хотим, чтобы наша планета, а со временем и Галактика, были населены исключительно эгоцентричными и бесконечно воспроизводящими себя сущностями с чингисхановским отношением к биологическим существам и друг к другу, то творцам ИИ следовало бы сформулировать цели, органично включающие в себя человеческие ценности.

Разработчики ИИ (а также теоретики и специалисты по этике) склонны верить, что разумные системы будут делать только то, на что они запрограммированы. Но Омохундро говорит, что они, конечно, будут делать это, но будут делать и многое другое, и мы можем предугадать с некоторой вероятностью, как поведут себя продвинутые ИИ‑системы. И их поведение может оказаться неожиданным и креативным. В основе этих размышлений лежит настолько пугающе простая концепция, что потребовалось настоящее озарение (в лице Омохундро), чтобы ее разглядеть: для достаточно разумной системы уход от уязвимостей – мотиватор не менее мощный, чем специально встроенные в нее цели и подцели.

Точка невозврата

Профессор математики Вернор Виндж считает, что мы находимся в такой ситуации, что очень‑очень скоро, всего через несколько десятилетий, начнутся трансформации, которые будут иметь, как в древности, большое биологическое значение.

В эту концепцию укладываются две важные идеи. Во‑первых, технологическая сингулярность изменит сам разум – единственную суперсилу человека, которая, собственно, и создает технологии. Вот почему эта революция будет отличаться от любой другой. Во‑вторых, биологическая трансформация, на которую намекает Виндж, произошла двести тысяч лет назад, когда человечество захватило лидерство на мировой арене. Homo sapiens начал доминировать на планете, поскольку был умнее любого другого биологического вида. Точно так же разум, в тысячу или миллион раз превосходящий человеческий в интеллектуальном отношении, навсегда изменит правила игры.

По поводу непрозрачного будущего Виндж сделал, по крайней мере, один вывод – сингулярность несет угрозу и может привести к гибели человечества. Кроме того, считает Виндж, существуют и другие факторы помимо индивидуального машинного интеллекта, способные вызвать сингулярность. Среди них – разум, берущий начало от Интернета, от человеко‑машинных интерфейсов или биологических наук.

В трех из перечисленных путей человек вовлечен в развитие технологий; возможно, он способен провести постепенное и управляемое повышение интеллекта и таким образом избежать взрыва. Так что можно, говорит Виндж, подумать о том, как победить величайшие проблемы человечества – голод, болезни, даже саму смерть. Это оптимистичное представление о будущем Курцвейла, которое пропагандируют «сингуляритарии». Сингуляритарии – это те, кто ожидает от резкого ускорения будущего в основном хороших вещей. Винджу их «сингулярность» представляется слишком благодушной.

Другие сценарии, которые тоже тревожат Винджа, также заслуживают внимания. Цифровая Гея, или брак между людьми и компьютерами, уже формируется в Интернете. Что это будет означать для нашего будущего – глубокий и важный вопрос, заслуживающий, чтобы о нем написали гораздо больше книг, чем пишется сейчас. УИ, или искусственное усиление интеллекта, имеет равный с обычным ИИ катастрофический потенциал, немного смягченный (по крайней мере поначалу) участием  человека. Но это преимущество быстро исчезнет.

На вопрос, может ли интеллект, хотя бы в принципе, родиться в результате экспоненциального роста инфраструктуры Интернета из содержащихся в нем 5 трлн мегабайт данных, из более чем 7 млрд связанных между собой компьютеров и смартфонов и 75 млн сервер, - Юдковски ответил: «Категорически нет. Потребовались миллиарды лет эволюции, чтобы появился разум. Интеллект не может народиться просто из сложности жизни. Автоматически такое не происходит. Оптимизация происходит через естественный отбор под внешним давлением».

Рано или поздно финансовые рынки породят УЧИ, считает доктор Александер Уисснер‑Гросс, он работает в Гарварде, занимается исследованиями и пытается коммерциализировать свои идеи в области финансовой инженерии. Он считает, что, пока блестящие теоретики всего мира соревнуются между собой, стремясь первыми создать УЧИ, он может появиться уже готовым и полностью сформированным на финансовых рынках как непредвиденное следствие создания вычислительных моделей большого числа людей. Кто будет его создателем? «Кванты» – так на Уолл‑стрит называют компьютерщиков – специалистов по финансовой математике.

Интеллектуальный взрыв в мире финансовой инженерии был бы абсолютно непрозрачным, по крайней мере по четырем причинам. Во‑первых, подобно многим когнитивным архитектурам, он, вероятно, использовал бы нейронные сети, генетическое программирование и прочие «черные ящики» методик ИИ. Во‑вторых, высокоскоростные транзакции, занимающие от силы несколько миллисекунд, происходят быстрее, чем может отследить человек, – достаточно посмотреть на то, как происходил обвал 2010 г. В‑третьих, система невероятно сложна – ни один квант (ни даже группа квантов) не в состоянии полностью описать экосистему алгоритмов Уолл‑стрит и объяснить, как алгоритмы взаимодействуют между собой. Наконец, если мощный интеллект родится в недрах финансовой математики, его, скорее всего, будут держать в тайне до тех пор, пока он будет приносить деньги своим создателям. Вот вам четыре уровня непроницаемости.

Надо сказать, что сходства между финансовой математикой и исследованиями ИИ на этом не заканчиваются. Уисснер‑Гросс выдвинул еще одно поразительное предположение. Он утверждает, что первые стратегии управления УЧИ могли бы вырасти из мер, предлагаемых нынче для управления высокочастотным трейдингом и контроля над ним. Некоторые из них выглядят достаточно перспективно.Рыночный предохранитель,  или прерыватель цепи, должен отрезать ИИ хедж‑фонда от внешнего мира в случае непредвиденных обстоятельств.

Виндж дал сингулярности название, чтобы обозначить страшное будущее для человечества. Его определение сингулярности метафорично – орбита вокруг черной дыры, где гравитационные силы настолько сильны, что даже свет не в состоянии вырваться вовне. Мы не можем узнать, что там внутри, и такое название дано не случайно.

Затем внезапно все изменилось. К концепции сингулярности, предложенной Винджем, Рэй Курцвейл добавил мощный катализатор, сдвигающий всю тему в область стремительного развития технологий и фокусирующий внимание на надвигающейся катастрофической опасности: экспоненциальном росте мощности и скорости компьютеров.

В расчете на один доллар мощность компьютеров за последние тридцать лет выросла в миллиард раз. Еще лет через двадцать за $1000 можно будет купить в миллион раз более мощный компьютер, чем сегодня, а через двадцать пять лет – в миллиард. Примерно к 2020 г. появятся первые компьютерные модели человеческого мозга, а к 2029 г. исследователи смогут запустить модель мозга, которая не будет ни на йоту уступать человеческому ни в интеллектуальном, ни в эмоциональном плане. К 2045 г. человеческий и машинный интеллект вырастут в миллиард раз  и разработают технологии, которые позволят победить наши человеческие слабости, такие как утомление, болезни и смерть. В случае если нам удастся это пережить, технический прогресс за XXI в. продвинется не на столетие, а на 200 000 лет.

По материалам книги Джеймса Баррата «Последнее изобретение человечества: Искусственный интеллект и конец эры Homo sapiens».

Опубликовано с официального разрешения издательства «Альпина нон-фикшн».