Сингуляритарий

Курцвейл критикует так называемый Принцип предосторожности, исходящий от движения за охрану окружающей среды; это, как и отказ от технологий, его мишень в нашем разговоре. Но важно точно сформулировать этот принцип и посмотреть, почему в нем нет особого смысла. Принцип предосторожности гласит: «Если последствия некоего действия неизвестны, но некоторые ученые считают, что они, хотя бы с небольшой вероятностью, могут оказаться резко отрицательными, то лучше не производить действие, чреватое отрицательными последствиями». Этот принцип применяется не особенно часто и не особенно строго. Он положил бы конец любой предположительно опасной технологии, если бы «некоторые ученые» опасались ее, даже если бы они не могли точно сформулировать, каким образом это действие приведет к нежелательному результату.

В приложении к УЧИ у Принципа предосторожности и отказа от технологий нет никаких шансов, если исключить вариант катастрофического происшествия на пути к УЧИ, которое испугало бы нас всех до смерти. Лучшие корпоративные и правительственные проекты УЧИ никогда не откажутся от конкурентного преимущества в виде секретности – мы уже видели это на примере стелс‑компаний. Мало какая страна или организация откажется от такого преимущества, даже если работа над УЧИ будет объявлена вне закона. (Мало того, та же корпорация Google обладает средствами и влиянием небольшого государства, так что, если хотите понять, что будут делать другие страны, следите за Google.) Технологии, необходимые для создания УЧИ, вездесущи и многосторонни, к тому же постоянно миниатюризируются. Контролировать их развитие чрезвычайно сложно, если не невозможно.

Другой вопрос – действительно ли аморально не развивать УЧИ, как говорит Курцвейл. Во‑первых, польза от УЧИ будет громадна, но только в том случае, если человечество уцелеет и сможет ею воспользоваться. И это довольно серьезное если,  когда система достаточно продвинута, чтобы инициировать интеллектуальный взрыв.

Утверждать, как это делает Курцвейл, что недоказанная польза перевешивает столь же недоказанный риск, на мой взгляд, проблематично. Аморально разрабатывать такие технологии, как УЧИ, и не просвещать одновременно как можно большее количество людей относительно связанных с этим рисков. Катастрофические риски УЧИ, ныне признанные многими известными и уважаемыми исследователями, установлены надежнее, чем предполагаемая польза от сингулярности, – для начала это наноочищение крови, улучшенный, более быстрый мозг и бессмертие.

Несмотря на самые лучшие намерения создателей, в большинстве, если не во всех УЧИ значительная часть работы системы окажется слишком непрозрачной и слишком сложной, чтобы мы могли полностью в ней разобраться и точно предсказать ее поведение. Чуждый, непознаваемый, да к тому же… не забывайте, что некоторые УЧИ будут созданы специально для того, чтобы убивать людей, ведь в США, к примеру, мы видим ведомства оборонного сектора среди самых активных инвесторов. Дружественный ИИ, который обеспечил бы правильное поведение первого УЧИ и всех его потомков, – это концепция, которой еще очень далеко до готовности.

Одновременно с технологией модификации разума нам придется развивать науку отбора кандидатов на эту операцию. Сингуляритарии тешат себя надеждой, что каждый, кто сможет себе это позволить, получит суперинтеллект; на самом же деле такой подход гарантированно привел бы к тому, что все остальные оказались бы игрушкой в руках первого же злобного сверхразума, полученного таким образом. Мы уже говорили о том, что первый в разработке УЧИ получит решительное преимущество. Тот, кто раньше всех сумеет получить УЧИ, – кем бы он ни был, – вероятно, создаст затем условия для интеллектуального взрыва. Он сделает это из опасения, что конкуренты, военные или корпоративные, обгонят его; никто не знает, насколько конкуренты близки к финишной черте. Многие даже не подозревают о существовании растущего сообщества людей, озабоченных разработкой интеллекта, превышающего человеческий, и проводящих важные исследования в отношении возможных катастрофических последствий этого. Если ситуация не изменится, я уверен, что короткий забег от УЧИ до ИСИ пройдет без достаточных мер предосторожности, которые могли бы предотвратить катастрофу.

Жесткий старт

Доктор Бенджамин Гертцель - разработчик ИИ, исполнительный директор двух технических компаний. Когнитивная архитектура Гертцеля, получившая название OpenCog, – подход инженеров‑компьютерщиков по всем правилам науки. Отдельные модули OpenCog будут выполнять такие функции, как восприятие, внимание и память. Делается это при помощи схожих, но индивидуально настроенных программных комплексов, включающих генетическое программирование и нейронные сети. Гертцель планирует «вырастить» свой ИИ в виртуальном компьютерном мире.

Гертцель выступает за скорейшую разработку УЧИ. Гертцель утверждал, что если УЧИ попытается воспользоваться социальной и промышленной инфраструктурой, в которой он был создан, и «взорвать» свой интеллект до уровня ИСИ, то разве мы не предпочтем, чтобы «жесткий старт» (внезапный неконтролируемый интеллектуальный взрыв) произошел в нашем примитивном мире, а не в мире будущего, где нанотехнологии, биоинженерия и полная автоматизация могли бы дополнительно увеличить возможности ИИ по захвату власти?

 «Через пятьдесят лет, – говорит Гертцель, – у нас, возможно, будет полностью автоматизированная экономика и гораздо более развитая инфраструктура. Если компьютер захочет модернизировать свое «железо», ему не придется заказывать компоненты через людей. Он сможет просто выйти в Сеть, где на него сразу же налетят роботы и помогут с апгрейдом. Затем представьте, он становится все умнее и умнее, заказывает для себя все новые детали и в общем‑то перестраивает себя, и никто даже не подозревает о происходящем. Так что лет, может, через пятьдесят мы, вполне вероятно, получим супер‑УЧИ, на самом деле способный  непосредственно захватить власть над миром. И методы для захвата мира у этого УЧИ будут куда более драматичными».

В общем, Гертцель не принимает до конца идею жесткого старта, который приведет к апокалипсису, то есть не верит в сценарий Busy Child. Компьютеры, став разумными, не превратятся мгновенно в абсолютно чуждые нам существа.

Последнее затруднение

Те, кто считает, что создать УЧИ крайне затруднительно, группируются вокруг двух основных идей: экономики и сложности программного обеспечения. Сторонники первой – экономической – считают, что на переход от ИИ к гораздо более сложной и мощной когнитивной архитектуре УЧИ просто не хватит денег. Сторонники идеи о сложности программного обеспечения утверждают, что проблема создания УЧИ попросту слишком сложна для человечества, как бы долго мы над ней ни бились.

Утверждается следующее: мы никогда не получим УЧИ, или искусственный разум человеческого уровня, потому что задача его создания окажется слишком сложной для нас. Если это правда, то никакой УЧИ не сможет усовершенствовать себя в достаточной степени, чтобы запустить интеллектуальный взрыв. Искусственный разум не сможет создать чуть более умную версию самого себя, эта версия не построит еще более умный ИИ и т. д. Те же ограничения распространяются и на человеко‑машинную связь – не исключено, что она сможет укрепить и усилить человеческий интеллект, но никогда по‑настоящему не превзойдет его.

Представление о том, насколько сложна эта проблема, можно получить, узнав у специалистов, как скоро следует ждать появления УЧИ. На одном конце шкалы окажется директор по исследованиям Google Питер Норвиг, который, как мы уже упоминали, готов сказать лишь, что до УЧИ еще слишком далеко, чтобы об этом говорить. Тем временем коллеги Норвига под предводительством Рэя Курцвейла продолжают работать над созданием УЧИ. На другом конце шкалы находится Бен Гертцель, который, как Гуд в свое время, считает, что создание УЧИ – всего лишь вопрос денег, и что он вполне может быть создан до 2020 г. Рэй Курцвейл – вероятно, лучший в истории технический прогнозист, – предсказывает появление УЧИ к 2029 г., но не ждет ИСИ раньше 2045 г. Он признает сложности на этом пути, но не жалеет энергии для убеждения окружающих в том, что ИСИ ждет долгое и безопасное путешествие в процессе рождения.

Словно дифференциальное исчисление, развивающееся несколько столетий, исследования ИИ будут постепенно продвигаться, пока продолжающаяся практика не приведет к открытию новых теоретических правил, которые позволят специалистам формализовать значительную часть работы; с этого момента движение к УЧИ пойдет проще и быстрее.

Где‑то на пути развития, еще до создания всеобъемлющей теории человеческого разума, утверждает Гертцель, OpenCog может достичь уровня УЧИ. Но вот парадокс. Если Гертцель откажется от работы над УЧИ и посвятит свою жизнь пропаганде отказа от подобных намерений, это никак и ни на что не повлияет. Другие компании, правительства и университеты будут и дальше гнуть свою линию. По этой самой причине Виндж, Курцвейл, Омохундро и другие считают, что отказ от разработки УЧИ невозможен. Более того, на свете много отчаянных и опасных стран – возьмите хотя бы Северную Корею и Иран, – а организованная преступность России и финансируемые государством преступники Китая запускают в Сеть все новые и новые вирусы и производят кибер‑ атаки, так что отказ от разработки УЧИ означал бы попросту сдачу будущего безумцам и гангстерам. Оборонительной стратегией, которая помогла бы обеспечить выживание человечества, может оказаться деятельность, которую уже начал Омохундро: разработка научных основ понимания и управления системами, обладающими самосознанием и способностью к самосовершенствованию, то есть УЧИ и ИСИ. А учитывая сложности создания противоядия, такого как дружественный ИИ, прежде  создания УЧИ, развитие этой науки должно идти параллельно работам над УЧИ. Тогда к появлению УЧИ система контроля над ним будет готова.

Конец эры человечества?

Все исследователи ИИ (участвующие в разработке УЧИ) осознают проблему беглого УЧИ. Но никто из них, за исключением Омохундро, не дал себе труда и не счел нужным тратить время на разрешение этой проблемы.

Представьте, что процессоры и другие микросхемы аппаратно запрограммированы на гибель. Как только ИИ достигнет некоего рубежа, близкого к прохождению теста Тьюринга, исследователи могут заменить принципиально важные аппаратные элементы на апоптические аналоги. В случае интеллектуального взрыва эти элементы сработают и остановят процесс. Ученые получат возможность вернуть ИИ к докритическому уровню и возобновить исследования.

Несложно понять, что сознающий себя самосовершенствующийся ИИ на пороге человеческого уровня поймет, что в нем имеются апоптические элементы, – это прямо следует из определения самосознания. На дотьюринговой стадии он вряд ли сможет что‑то предпринять. И примерно в тот момент, когда ИИ сможет разработать план и придумать, как обойтись без этих самоубийственных элементов, или притвориться мертвым, или еще как‑то обмануть своих создателей, – тут‑то он и умрет, а экспериментаторы смогут определить, запомнил он или нет, что произошло.

Сможет ли когда‑нибудь виртуальный мир обрести достаточную глубину, детальность и другие полезные качества, и Фонд Lifeboat, постоянно подчеркивают экзистенциальный риск ИИ. Они считают, что если существуют меньшие риски, то приоритет их ниже, чем возможность полной гибели человечества.

Кибернетическая экосистема

Первыми возможностями ИИ и продвинутого ИИ воспользуются спонсируемые государством частные хакеры; их целью будет кража информации, а результатом их действий – разрушения и гибель людей. Дело в том, что вредоносные компьютерные программы обретают все новые возможности, и уже сегодня их можно рассматривать как слабый ИИ. Как сказал мне Рэй Курцвейл, «существуют компьютерные вирусы, реально демонстрирующие ИИ. До сих пор мы не отстаем от них, но нет никакой гарантии, что не отстанем». А пока знания и опыт в области использования вредоносных программ становятся товаром. За деньги можно найти не только сам продукт, но и услуги по его настройке и обслуживанию.

Уильям Линн, бывший первый заместитель министра обороны США предложил начать выравнивание возможностей путем повышения стоимости кибератаки. Один из способов – установление авторства. Министерство обороны определило, что крупные вторжения и кражи – дело рук государств, а не отдельных людей и даже не групп.

Если говорить об искусственном интеллекте, то зачем рисковать живыми шпионами и дипломатическими отношениями, когда хорошо написанная вредоносная программа способна добиться большего?

Если технари и специалисты‑оборонщики, работающие в Белом доме и Агентстве национальной безопасности, не в состоянии контролировать узкоинтеллектуальную вредоносную программу, каковы шансы на то, что их коллеги смогут справиться с будущим УЧИ или ИСИ? Никаких шансов.

УЧИ 2.0

УЧИ появится совсем скоро. И, когда это произойдет, его создатели обнаружат, что получилось не то, на что они рассчитывали, когда брались за это дело несколько десятилетий назад. Дело в том, что искусственный интеллект, возможно, получится человеческого уровня, но он не будет похож на человеческий интеллект. По существу, мы просто не сможем понять, что представляет собой наше создание.

Если поначалу ИИ будет нашим инструментом, то ответы у него будут готовы прежде, чем мы успеем сформулировать вопрос. В целом он будет лишен чувств. У него не будет за плечами нашего происхождения и природы млекопитающих, нашего долгого детства, необходимого для формирования мозга, или нашего инструктивного воспитания, даже если выращивать его, как человека, от младенчества до взрослости. Вероятно, он будет питать к вам не больше чувств, чем тостер у вас на кухне.

Это будет УЧИ версии 1.0. Если по какой‑то случайности мы избежим интеллектуального взрыва и просуществуем достаточно долго, чтобы повлиять на создание УЧИ 2.0, возможно, его удастся наделить чувствами. К тому моменту ученые, может быть, выяснят, как сделать вычислительную модель чувств (возможно, с помощью 1.0), но чувства будут вторичной целью после первичной – делания денег. Ученые, возможно, научатся развивать эти синтетические чувства в направлении симпатии к нашему существованию. Но, скорее всего, 1.0 будет последней версией, которую мы увидим, потому что этого события мы не переживем и до создания 2.0 дело не дойдет.

По материалам книги Джеймса Баррата «Последнее изобретение человечества: Искусственный интеллект и конец эры Homo sapiens».

Опубликовано с официального разрешения издательства «Альпина нон-фикшн».