Чтение: Дэвид Минделл «Восстание машин отменяется!» 

Глава 7. Автономность в человеческом мире

Летом 2013 года Международная ассоциация беспилотных транспортных средств (AUVSI ) проводила свое ежегодное собрание и торговую выставку в Вашингтоне, округ Колумбия. Там можно было увидеть движущихся роботов, которые бегают рысью как вьючные мулы, летают как стрекозы, стреляют ракетами и осматривают урожаи. Но, на удивление, самой большой новостью на этом собрании были не новые сенсоры, аппараты или гражданские приложения, хотя все они там присутствовали. Самой большой новостью было требование президента ассоциации к прессе и общественности изменить терминологию дебатов.

«Я не использую слово “дрон”, — сказал президент AUVSI Майкл Тоскано. — В этом слове заложены определенные домыслы относительно сущности дронов , связанные с Голливудом. Большинство из них сделано в военных целях, большинство пугающи и враждебны».

Тоскано отвечал на непосредственную политическую угрозу: за пределами зала собраний протестующие выступали против американских ударов с помощью дронов и перспективы вторжения дронов в частную жизнь американцев на их собственной земле.

«Ключевым здесь является слово “система”. Мы надеемся, что это слово общественность поймет, — заявил Тоскано. — Существует человеческое существо в системе. Человеческое существо — это то, что создает систему. Когда вы произносите слово “дрон”, вы не думаете, что есть человек, который им управляет».

Тоскано явно попытался улучшить общественный имидж своей отрасли, представители которой обеспокоены тем, что боязнь людей оказаться под наблюдением может помешать развитию технологий в воздушном пространстве Соединенных Штатов. Но это необычное требование использовать для наименования продукции другое слово только подчеркнуло значимость вопроса — и путаницу в терминологии , используемой для обозначения мобильных роботов.

Дроны — не обезличенная техника, их существование обусловлено человеческой деятельностью. На борту беспилотных аппаратов нет людей, но они по-прежнему являются результатом человеческого труда. Автономные аппараты регулярно поддерживают сообщение с человеческим миром и возвращаются в него. Люди-операторы связаны с большим объемом данных, коллегами и визуальной информацией, даже когда оказываются вовлеченными в детали событий, происходящих на другом конце земного шара.

Главное заблуждение состоит в том, что прямое человеческое присутствие обеспечивает аутентичное, компетентное восприятие, тогда как роботы не управляются человеком и делают свою работу сами. Мы не будем вступать в споры об искусственном интеллекте и о том, способны машины думать или нет. Автономная система действительно может использовать недетерминированное (иначе говоря, непредсказуемое) программное обеспечение, или проявлять неожиданные свойства, формирующиеся под действием окружающей обстановки, или задействовать режим обучения. Тем не менее любые системы, считающиеся интеллектуальными, программируются людьми, которые запечатлевают в них свое видение мира.

Итак, в XXI веке автономность — это человеческое действие, отдаленное во времени. Это в каком-то смысле сущность термина «программирование » — говорить компьютеру, что ему делать в какой-то момент в будущем, когда программа будет работать. Конечно, машина реагирует на происходящее в окружающей среде, может столкнуться с новыми ситуациями и даже выработать неожиданное поведение. Но рамки этого поведения остаются очень жесткими и заранее предопределенными конструкторами и программистами.

Ровер на Марсе способен «обучаться» в окружающей его обстановке и не станет второй раз пытаться проехать там, где уже однажды застрял, но он не сможет (и в силу механического устройства, и по причине особенностей программного обеспечения) «научиться» открывать коробку с драгоценностями, если она перед ним вдруг возникнет. Полностью автономные роботы, прокладывающие свой маршрут на местности под контролем компьютера, все еще не теряют свою привлекательность для инженеров. Воспринять окружающую обстановку, классифицировать ее, соединить с моделями или предшествующим опытом и составить планы движения вперед — это одно из наших ежедневных действий.

Неопределенность в мире (или внутри самих машин), появление неожиданных факторов, разрушающих привычные ожидания, создает задачу не только более трудную, но и более интересную. Решение подобных задач посредством техники — это выдающийся труд, инженерное мастерство в самом философском смысле: как мы наблюдаем, принимаем решения и действуем в мире? Как мы живем в условиях неопределенности? Но мы не должны путать мысленные технические эксперименты с тем, что полезно в человеческом контексте. Когда на карту поставлены жизни людей и ресурсы, мы раз за разом, в течение десятилетий, где бы то ни было — от океанских глубин до космоса, — обуздываем автономность. И речь здесь не о прогрессе — надежде, что однажды мы все сделаем пра- вильно, — а о выходе из лаборатории в реальные условия. Этот фактор сдерживает автономность, идет ли речь о выполнении инструкций и возвращении с полезной информацией или о защите человеческих жизней. Тот случай, когда Нейл Армстронг в последнюю минуту, отключив систему автоматической посадки на Луну, перешел на ручное управление, обозначил границы представления о полной автономности в XX веке и стал предвестником медленного продвижения к многообещающему сотрудничеству и соседству с машиной.

Одинокий автономный дрон в такой же мере стал анахронизмом, как и одинокий, не подключенный к сети компьютер. Задачи, которые стоят перед робототехникой в XXI веке, связаны с внедрением машин в человеческие и социальные системы. Это задачи по выстраиванию отношений. Писатель Мэтью Кроуфорд бросил работу в аналитическом центре и открыл свое дело по ремонту антикварных мотоциклов. Он воспринимал это как вопрос «квалифицированного и активного взаимодействия» с работой в противовес манипулированию абстрактными идеями, далекими от привязки к материальному миру. Для него жизнь ремесленника оказалась привлекательной благодаря своей принадлежности и к грубому физическому миру машин, и к социальным взаимоотношениям между покупателями, мастерами своего дела и имеющими схожие интересы мотоциклистами. По его мнению, посвящение себя ручному труду объединяет всех рабочих людей.

«Тонкие механические приспособления, которыми я занимаюсь, — пишет Кроуфорд, — включены в больший круг понятий: они служат деятельности, которую мы осознаем как часть нашей подлинной жизни».

Выбор Кроуфордом своей карьеры, казалось бы, говорит в пользу океанографов, которые отрицают удаленное присутствие, астронавтов, которые считают физическое пребывание в космосе сущностью исследования, и даже пилотов-истребителей, воспринимающих операторов «Предейтора» как «солдат Nintendo». И в самом деле, техника часто задействуется на рабочих местах, чтобы сделать работу «более масштабной, обезличенной и заставить отвечать на вызовы сил, удаленных от места работы».

Напротив, с точки зрения Кроуфорда, профессии «сопротивляются тенденции к удаленному управлению, поскольку существуют в определенном контексте». По иронии судьбы заключение Кроуфорда затрагивает тот самый предмет, о котором мы говорили здесь, — автономность. Он выступает против ничем не обусловленной личности, «суверенного себя, не отягощенного связями с другими и полностью свободного». Его работа в качестве мастера по ремонту мотоциклов объединяет его с другими.

Критика Кроуфордом автономности в аспекте, касающемся людей, перекликается с нашей критикой утопической автономности в мире роботов: идея автономности отрицает мысль о том, что мы родились в мире, который существовал до нас. В ее основе лежит принципиальное одиночество; автономное существо свободно в том смысле, что свободой является оторванность от всех остальных. Рассматривать себя таким образом — это изменять естественному долгу перед миром и совершать моральную ошибку неблагодарности.

Поскольку на самом деле мы в своей основе — зависимые существа: один человек зависит от других, а каждый из нас — от мира, который создали не мы. Наши исследования в экстремальных средах точно так же показывают, что полная автономность является менее амбициозной и менее конструктивной задачей. Более интересна и целесообразна проблема развития автономности в связке с людьми. Как создать автоматы, которые будут помогать операторам и обеспечивать реализацию их умений и навыков? Как роботы могут демонстрировать автономное поведение и в то же время оставаться простыми, предсказуемыми и прозрачными для своих коллег — людей? Будут ли люди доверять непилотируемым системам, когда на карту поставлены их жизни? Как роботы должны включиться в человеческие взаимоотношения власти, языка и самоопределения? Даже в экстремальных условиях мы видим, что по своей природе машины, в сущности, связаны с людьми. Ничто из вышеперечисленного не указывает на то, что автономность остановится в развитии, что усовершенствованные датчики, компьютеры, алгоритмы и механизмы не помогут нам понять наш мир, а машинам — развить в нем большую надежность. Как раз напротив, роботы по-прежнему являются многообещающими проводниками развития и расширения человеческого опыта. Но мы видим с помощью роверов, углубляемся в полученные ими данные, испытываем эффект присутствия в удаленных условиях вместо того, чтобы отказываться от машин. Новые океанографы, новые марсианские геологи и даже новые пилоты военно-воздушных сил воспринимают неизведанные миры посредством машин. Мы можем найти признаки такого подхода повсюду в исследовательской среде.

Как я уже упоминал в предыдущих главах, Агентство по перспективным оборонным научно-исследовательским разработкам ведет амбициозные программы по разработке систем, в которых человек и машины участвуют сообща , используя весь потенциал современных компьютеров и робототехники. Так, Управление резерва ВМС, которое является одним из самых давних и уважаемых государственных спонсоров исследований в США, учредило программу в области «науки об автономности». Программа включает в себя такие строгие дисциплины математического моделирования, как оптимизация и теория игр, теория управления и теория графов. Но также в нее включены и деятельность человека в контуре управления, экономика, когнитивная психология и проектирование с учетом человеческого фактора. Придет день, когда такие спонсоры помогут во всех подробностях исследовать социальные противоречия человеческого поведения, культурных отношений и процесса создания знания.

Мы рассказывали истории о машинах трех типов: управляемых человеком, как пассажирские самолеты, на которых мы летаем каждый день; удаленно управляемых, как подводные дистанционно управляемые аппараты, которые исследовали и составляли карты древних обломков кораблекрушений; и автономных, как подводный аппарат АВЕ или марсианские роверы, связанные с человеком не настолько непосредственно и способные принимать самостоятельные решения. Мы следовали за людьми и машинами через большие системы и информационные сети. В каждом случае мы становились свидетелями присутствия, решений и экспертного опыта человека и наблюдали изменения, вызванные новыми технологиями, пусть и не всегда ожидаемые. Не сами роботы меняют сущность работы и людей, которые ее выполняют, а новые комбинации людей и автоматических машин. Некоторые по-прежнему видят здесь линейный прогресс, как будто большая часть «усовершенствованной» техники является автоматической или автономной с минимальным участием человека. Напротив, наши исследования показывают, что все три вида аппаратов развиваются вместе, влияя друг на друга и взаимно обогащая друг друга.

На новом «Элвине » установлено программное обеспечение, разработанное для автономных аппаратов; самолеты напоминают телеуправляемых роботов, внутри которых сидят люди. Приземления «Аполлонов» на Луну были не просто выполнены отважными пилотами, но еще и тесно связаны с сегментом наземного управления и программными алгоритмами, которые осуществляли контроль во время значимых и продолжительных этапов полета.

Международная космическая станция , хотя и является домом для космонавтов, сегодня тоже во многом управляется удаленно инженерами с Земли. Военные пилоты на дронах «Предейтор » и «Рипер » выпускают ракеты и убивают людей в тысячах километров от того места, где находятся сами. Но насколько отличается их работа от работы в высокотехнологичных кабинах современных истребителей, чьи пилоты редко видят врага где-нибудь, кроме как на экранах радаров?

Строгое разделение между человеческим и машинным, ручным и автоматическим осталось пережитком XX века. Новые подходы стирают эти грани. Такие технологии, как индикаторы на лобовом стекле и техническое зрение , делают управление самолетом более компьютеризованным, но в меньшей степени автоматизированным. Пилоты работают в паре с машинами теми способами, которые позволяют повысить безопасность. Оправдают ли они возложенные на них ожидания — это, конечно, зависит от того, насколько эффективно машины (и их программисты) смогут содействовать людям и насколько хорошо пилоты и системы, в которых они работают, приспособятся друг к другу.

Кажется более мудрым включать людей в контур управления, чем делать все автоматически, исключая их. Работа в экстремальных условиях является только предвестником изменений в более «земных» областях. Автомобили, становясь более автоматизированными, изменят самую обычную техническую задачу, которую выполняет обыкновенный человек, заставив нас пересмотреть само понимание роли водителя. В медицине роботы, ассистирующие хирургам, уже меняют представление о том, что значит быть хирургом — и что значит быть пациентом. Рабочие на фабриках, архитекторы, писатели, даже гонщики — все видят, как некоторые функции в их работе переходят к машинам и, таким образом, к другим людям, которые строят и программируют эти машины.

Беспокойство на этот счет вполне реально, как реальны и потери работы из-за внедрения машин, и социальное вытеснение. Мой собственный университет совершил большой прорыв, изменив процесс обучения и распространяя обучающие курсы через сети. До какой степени, спрашиваем мы все, для обучения нужно физическое присутствие? По мере того как в каждой из этих отраслей появляются роботы и автоматическая техника, в них будут происходить социальные изменения, сложности и даже чрезвычайные происшествия. Наше исследование работы в экстремальных условиях позволило нам умерить и наивные надежды, и наивные страхи, которые сегодня связаны с автономными машинами. Теперь мы можем перейти к обсуждению (и творческому осмыслению) человеческих ролей, социального взаимодействия и трудных задач надежности и доверия.

В центре этого нового разговора о ситуационной автономности лежат вопросы: где находятся люди ? Кто они? Что они делают? Когда? Почему это имеет значение? Холодным зимним вечером я лечу на своем одномоторном самолете «Бич Бонанза» 1993 года выпуска, первоначально сконструированном в 1947 году. Я возвращаюсь домой из длинного путешествия на юг. В Новой Англии недавно прошел снег, и облака все еще висят над аэропортом. Их белизна сливается со свежим снегом, покрывающим землю внизу. Лечу ли я по старинке, руководствуясь инстинктами, а не по- казаниями приборов, «словно одинокий орел»? Едва ли. Я полагаюсь на компьютерные устройства GPS , которые точно отслеживают мое положение, на электронный блок управления двигателем, регистрирующий десятки параметров, и на спутниковые линии связи, которые выдают картину погоды в мельчайших деталях. Все это представлено на пяти различных компьютерных дисплеях (в том числе на экране iPad). Техническое зрение в реальном времени моделирует мой полет в виртуальном пространстве базы данных.

У каждой системы есть собственные причуды, уязвимые места, программные обновления и ошибки, и мне приходится контролировать их все, учитывая их слабости и недостатки. Прежнее поколение пилотов, возможно, посчитало бы меня безнадежно зависимым от цифровой информации и искусственно оторванным от самой сути полета. Но я лечу в новом мире: все эти приборы связывают мою работу с более широким контекстом, помещая ее в сети, значимые для выполнения моей задачи и безопасности. Меня направляет диспетчерская служба воздушного движения: она ведет меня посредством глобальной спутниковой сети, которую люди постоянно совершенствуют и проверяют, помогая выполнить посадку в аэропорту, существующем за счет правительственных фондов. Мой самолет летит внутри всех этих сетей, связанных множеством постоянно меняющихся коммуникационных каналов. Ранее в этом полете один из цилиндров двигателя начал показывать аномально низкую температуру. Вскоре после этого компьютер сообщил, что мощность двигателя упала на 10% — реальная причина для беспокойства. Тем не менее двигатель звучал хорошо, и скорость самолета была нормальной.

Поволновавшись и обдумав ситуацию, я пришел к выводу, что сломался датчик температуры двигателя, а в самом двигателе проблемы не существует, поэтому можно продолжать полет. Это совершенно обыденная, даже ожидаемая поломка. Возможно, через несколько лет со мной в таком же полете на соседнем кресле будет робот, а еще через несколько лет его, быть может, встроят в самолет. Пришел бы автономно действующий алгоритм к выводу о том, что двигатель почти отказал? Выполнил бы экстренную посадку, когда она не требуется? В таком случае опять же я не стал бы возражать против общения через телекоммуникационные каналы связи с кем-то, кто сопровождает мой полет и может помочь разобраться с конфликтующими данными. Чтобы зайти на посадку и сесть сквозь облака, я полечу по курсо-глиссадной системе, к радиомаяку, который подает сигналы со взлетно-посадочной полосы. Обычно я включаю автопилот, чтобы выполнить заход на посадку, захватываю с его помощью радиолуч и слежу, как самолет снижается до минимума, а потом беру управление на себя и последние несколько десятков метров веду самолет вручную. Но на этом заходе примерно в 32 км от аэропорта я отключаю автопилот и лечу на ручном управлении. Когда-нибудь автопилот откажет, и мне нужно сохранять свои навыки (если я не летаю каждую неделю, то чувствую, что заметно теряю форму). И к тому же мне просто нравится ощущение непосредственного контроля над самолетом при помощи плавных и точных движений.

По радио бесплотный голос диспетчерской службы воздушного движения дает мне направление полета к лучу. Когда я уже почти на месте, он разрешает мне заход на посадку; это означает, что я имею право лететь на этом участке так, как считаю нужным. На экране моего компьютера оживает графическая «игла», сообщая о принятом сигнале радиомаяка. Я следую за указателем до окончательного курса захода на посадку, когда приходит в движение его вертикальный партнер — индикатор глиссадного маяка. Я выпускаю шасси, и самолет начинает снижаться. Я просматриваю чек-лист, составленный мной дома несколько месяцев назад. Точными движениями рук я регулирую угол тангажа самолета так, чтобы удерживаться на глиссаде. Хотя я по-прежнему ничего не вижу сквозь стекло кабины, на дисплее моего компьютера вырисовывается синтезированное изображение поверхности внизу.

Зеленый вектор направления полета накладывается на поверхность, показывая, куда движется самолет. Если я наложу вектор на конец виртуальной полосы, осторожно выполняя маневры, самолет окажется точно в зоне посадки. На высоте несколько десятков метров над землей я выныриваю из облаков. Неожиданно прямо передо мной появляется полоса. Я мягко тяну назад дроссель, а затем — штурвал. С резким визгом шасси касаются взлетно-посадочной полосы; небольшое торможение замедляет движение самолета — и я дома. Это опыт, приносящий необычайное удовлетворение. Полная сосредоточенность, которой он требует, заставляет меня чувствовать себя усталым, но в то же время расслабленным и обновленным. 

Отрывок из книги предоставлен для публикации издательством «Альпина нон-фикшн».