«Human-in-the-loop» — господствующая управленческая парадигма для автономных и полуавтономных систем в военной, медицинской, авиационной и финансовой сферах: если решающему действию должен предшествовать шаг живого участника, контроль считается сохранённым. Это эссе не оспаривает необходимость человеческого контроля над автономными системами. Оно оспаривает то, что присутствия для этого достаточно, — и прослеживает идею «оставить человека в контуре» до её подлинного источника, которым никогда не было доказательство превосходства человеческого суждения над автоматизированными системами под давлением, а было институциональное нежелание публично признать, что система решает полностью самостоятельно.
Центральный ход эссе — разграничение трёх переменных, которые существующие рамки анализа систематически смешивают: присутствие (человек занимает шаг в процессе), функция (конкретная задача, которую этот человек выполняет) и мандат (фактически действующее полномочие человека определить исход). Присутствие необходимо, но не достаточно для функции; функция необходима, но не достаточна для мандата — и человек может формально занимать функцию подтверждения, не обладая при этом никаким реальным мандатом, если окно подтверждения слишком коротко, информация слишком неполна, а несогласие слишком дорого обходится. На этом основании привычная таксономия «внутри контура / на контуре / вне контура» заменяется непрерывным спектром — градиентом делегирования, — идущим от независимого человеческого решения к полной автономии системы, на котором значение имеет не то, по какую сторону условной черты находится система, а фактическое, а не номинальное распределение власти в конкретный момент.
Два примера закрепляют этот тезис на противоположных полюсах значимости последствий: система антифрод-контроля, способная аннулировать оперативное право клиента на собственные средства, не затрагивая его юридического права на них, и советская система «Мёртвая рука», передававшая полномочие на ядерный ответный удар исключительно на основании того, оборвалась ли связь с командованием, — не оценивая при этом никакого человека вообще. Отсюда эссе выводит предлагаемую замену вопроса. Вместо «есть ли человек в контуре?» оно предлагает спрашивать, как именно архитектура делегирования данной системы организует полномочия: кто инициирует действие, как устроено подтверждение, каковы реальные — а не только формальные — условия отмены, и кто в конечном счёте решает, чьё решение имеет силу.
Эссе завершается указанием на то, почему этот вопрос становится неотложным, а не академическим: появляются системы, которые не просто действуют быстрее человека, но оценивают самого человека, решая в реальном времени, заслуживает ли доверия суждение конкретного оператора. Это инвертирует исторически сложившееся направление отношений между человеком и системой контроля и ставит вопрос, на который у современных управленческих рамок нет готового ответа, — что означает человеческий контроль, если само право усомниться в системе становится тем, что архитектура этой системы может предоставить или отозвать. Это основополагающее эссе проекта «Архитектура делегирования».
Существует допущение, настолько привычное, что его почти никогда не формулируют вслух. Если в контуре принятия решения присутствует человек — если финальное «да» требует живого участника, а не просто выполнения алгоритма — значит, контроль сохранён. Машина остаётся инструментом. Человек остаётся субъектом.
Это допущение лежит в основе того, что сегодня называют human-in-the-loop: доминирующей парадигмы управления автономными и полуавтономными системами в военной, медицинской, авиационной и финансовой сферах. Оно встроено в военные доктрины, регуляторные стандарты, международные переговоры об автономном оружии. И оно кажется не просто разумным, но самоочевидным — настолько, что любой, кто его оспаривает, рискует выглядеть как человек, выступающий против человеческого контроля.
Но это не то, о чём здесь идёт речь.
Вопрос не в том, нужен ли человеческий контроль над автономными системами. Нужен — и это не обсуждается. Вопрос в том, является ли присутствие человека в контуре принятия решения достаточным условием для того, чтобы такой контроль реально существовал. И здесь ответ значительно менее очевиден, чем принято считать.
Идея «оставить человека в контуре» не возникла из доказанной эффективности человеческого надзора. Она возникла из институционального нежелания принять на себя ответственность за систему, которая решает полностью самостоятельно. Это нежелание воспроизводилось с поразительной последовательностью в совершенно разных областях и в разные эпохи — не как результат анализа, а как результат дискомфорта.
В авиации автопилот ведёт самолёт большую часть полёта, но командир воздушного судна остаётся формальным держателем финального решения — именно это позволяет индустрии говорить о человеческом контроле. В медицине диагностический алгоритм формирует вывод, врач его «подтверждает» — именно это позволяет регулятору говорить о профессиональной ответственности. В военных разработках каждое поколение автономных систем проектировалось с оговоркой о человеческом одобрении — даже когда доступное для этого одобрения окно сокращалось до нескольких секунд и начинало напоминать не суждение, а формальный ритуал. В системах ядерного командования протоколы сохраняли точку человеческого решения даже при доктринах, фактически предполагавших автоматический ответный удар.
Во всех этих случаях логика была одна: не «человек справится лучше», а «мы не готовы публично сказать, что человека там больше нет». Присутствие человека стало механизмом распределения тревоги и правовой ответственности — а не механизмом гарантии качества контроля. И именно потому, что в основе лежал компромисс, а не доказанный принцип, его оказалось почти неизбежно перепутать с настоящим контролем.
Чтобы понять, почему это разные вещи, нужно разграничить три переменные, которые существующие рамки анализа систематически смешивают.
Первая — присутствие: физическое и процедурное участие человека в процессе. Человек присутствует, если в цепочке принятия решений есть хотя бы один шаг, номинально требующий его участия. Именно это требует парадигма human-in-the-loop.
Вторая — функция: конкретная задача, которую выполняет человек внутри процесса. Сбор информации, анализ, выбор действия, исполнение. Именно это описывают технические таксономии уровней автоматизации, начиная с классических работ Шеридана и Парасурамана.
Третья — мандат: фактически действующее полномочие человека определить исход процесса. Оперативная власть произвести результат, который система признаёт как обязывающий и на основе которого действует.
Присутствие является необходимым, но недостаточным условием для выполнения функции. Выполнение функции является необходимым, но недостаточным условием для наличия мандата. Существующие регуляторные инструменты требуют присутствия. Настоящий контроль требует мандата. Это разные вещи.
Человек может формально занимать функцию подтверждения в цепочке решений — и при этом не обладать реальным мандатом: окно для подтверждения может быть короче времени, необходимого для осмысленного суждения; информация может быть недостаточна для независимой оценки рекомендации системы; институциональная среда может делать несогласие непропорционально дорогим; наконец, сам механизм подтверждения может быть устроен так, что отсутствие возражения засчитывается как согласие. Все эти конфигурации технически удовлетворяют требованию о присутствии человека — и при этом предоставляют ему принципиально разный объём реального полномочия.
Разрыв между присутствием и мандатом существовал задолго до современного искусственного интеллекта. Системы были просто достаточно медленными, чтобы он оставался практически незаметным. Современные автономные системы делают его видимым — потому что скорость, сложность и непрозрачность, достигнутые сегодня, выносят этот разрыв за пределы допустимой погрешности.
Признав, что присутствие и мандат — разные переменные, мы немедленно видим и то, что стандартная классификация «человек внутри / на контуре / вне контура» описывает не то, что нужно.
Делегирование полномочий — это не переключатель с двумя или тремя положениями. Это непрерывный спектр. На одном конце: человек принимает решение самостоятельно, используя систему как источник информации. Затем: человек одобряет кандидата на действие, сформированного системой. Затем: человек наблюдает за автономными действиями системы с правом вмешаться — но уже в условиях, когда вмешательство требует специального усилия. Затем: человек мониторит результаты, не имея реальной возможности влиять на процесс в реальном времени. Затем: человек вмешивается редко — потому что система почти всегда действует корректно, и независимый навык суждения начинает атрофироваться. Затем: человек существует как аварийный резерв для нештатных ситуаций. И наконец — человек исчезает из оперативного контура вовсе.
Описание этого спектра как трёх дискретных категорий не просто упрощает — оно скрывает именно то, что важнее всего. Критическое различие не между «внутри» и «вне» контура. Критическое различие — в том, где именно на этом непрерывном спектре находится фактическое распределение власти в конкретной оперативной конфигурации конкретной системы. Причём фактическое — не то, что специфицировано в проектной документации, а то, что реально возникает в оперативных условиях с учётом временны́х ограничений, информационных асимметрий и институциональных давлений.
Именно это распределение — назовём его градиентом делегирования — и является предметом, который нужно анализировать и специфицировать. А не бинарный факт присутствия.
Здесь, однако, анализ должен сделать шаг глубже — потому что до сих пор мы говорили об ослаблении контроля как о процессе постепенном и в некотором роде случайном: меньше информации, меньше времени, больше процедурных барьеров. Но за этим стоит нечто более фундаментальное.
Мандат человека в автономной системе никогда не был безусловным. Он всегда был условным состоянием — выдавался системой человеку при соблюдении определённых условий, а не принадлежал ему неотъемлемо в силу присутствия.
Чтобы увидеть это ясно, начнём с примера, знакомого большинству людей непосредственно. Система антифрод-контроля в банке блокирует транзакцию. Деньги юридически ваши — полностью и безусловно. Но алгоритм определил, что в этот момент ваше поведение не удовлетворяет условиям, при которых ваше право считается оперативно действительным: не та география, не та сумма, паттерн, отклоняющийся от нормы. Ваше юридическое право на деньги не изменилось. Ваш оперативный мандат на это конкретное действие — аннулирован. Система выдаёт полномочие — и система его отзывает, опираясь на поведенческие критерии, которые установила сама.
Это бытовой, низкоставочный, легко обратимый пример. Но структурная логика в нём точная.
Перейдём к примеру, где та же логика проявляется на максимальных ставках и в своей наиболее эксплицитной форме. В начале 1980-х годов, в условиях реального страха перед ядерным обезглавливающим ударом, в Советском Союзе была разработана система, получившая на Западе название «Мёртвая рука» — описанная Дэвидом Хоффманом в книге с тем же названием.
Система отслеживала физические признаки ядерного удара по советской территории. Если удар был зафиксирован и связь с командованием обрывалась на установленный период — система делала вывод: командная структура уничтожена. Полномочие на принятие решения об ответном ударе переходило к дежурным офицерам в защищённых объектах по заранее прописанной цепочке.
Принципиально важно следующее: система не оценивала конкретного присутствующего оператора — его поведение, его надёжность, его соответствие протоколу. Она оценивала наличие условия: существует связь с командованием или нет. Молчание интерпретировалось как гибель командования, гибель — как отсутствие действительного мандата, отсутствие мандата — как основание для его структурной передачи. Условие было прописано в архитектуре заранее. Человек, чьё номинальное полномочие оно аннулировало, не участвовал в его установлении и не мог оспорить его в момент активации.
Сравнение двух примеров обнаруживает не одинаковый механизм, а два разных воплощения одного принципа. Банковский антифрод оценивает живого, присутствующего, поведенчески наблюдаемого человека в реальном времени и отзывает мандат на основе того, что он делает сейчас. «Мёртвая рука» не оценивает никакого присутствующего человека — она оценивает состояние коммуникационной среды и передаёт мандат в соответствии с условием, абстрактно прописанным в архитектуре до любого кризиса. Механизмы разные. Принцип один: мандат человека является условным состоянием, определяемым системой, а не неотъемлемым свойством присутствия.
«Мёртвая рука» делает это видимым, доводя принцип до его предельного, неприкрытого выражения. Именно поэтому она является не военной экзотикой, а аналитически ценным случаем: в ней архитектурная логика условного мандата написана явно и публично задокументирована — в отличие от множества гражданских систем, где та же логика присутствует имплицитно.
Если мандат всегда был условным и его условия определяются архитектурой системы, то сам вопрос, которым оперирует современное регулирование автономных систем — «есть ли человек в контуре?» — спрашивает не о той переменной. Он спрашивает о присутствии, тогда как имеет значение структура: как именно устроено распределение полномочий, при каких условиях мандат человека считается действительным, и кто эти условия установил.
Это и есть то, что стоит называть архитектурой делегирования — полной структурой ответов на вопросы о том, как власть распределена внутри конкретной системы. Кто инициирует действие — человек или система? Как устроено подтверждение — требуется ли явный положительный сигнал или молчание засчитывается как согласие? Каковы реальные, а не формальные условия отмены — включая временны́е параметры, без которых право на отмену является лишь юридической декларацией? Кто получает информацию, и какова её полнота — видит ли оператор данные или только вывод системы? Существует ли право на задержку — возможность прервать процесс до его завершения, не принимая финального решения? Кто принимает решение при сбое или потере связи, и по какому заранее прописанному критерию происходит передача полномочий? И наконец — у кого власть над самим вопросом о том, чьё решение в данный момент является действительным?
Последний вопрос особенно редко задаётся, и именно поэтому он особенно важен. В простых системах с единственным оператором он кажется тривиальным. В сложных, многоуровневых, географически распределённых системах — которые становятся нормой, а не исключением — он нетривиален. Если система своими параметрами определяет, чьё решение оперативно действительно в каждый момент, она фактически присвоила себе эту власть — без какой-либо формальной фиксации этого факта в регуляторной документации.
Архитектура делегирования — не новая технология и не предложение конкретного стандарта. Это предложение другого объекта анализа: замена вопроса «есть ли человек в контуре?» на вопрос «как устроена структура полномочий в этой системе, и при каких условиях мандат каждого из её участников считается действительным?» Без ответа на этот вопрос утверждения о «значимом человеческом контроле» — нормативное требование, которое широко принято в международных дискуссиях об автономных вооружениях — остаются нефальсифицируемыми: их нельзя проверить, и они совместимы с полным отсутствием оперативного полномочия у номинального человека-контролёра.
Современные рамки регулирования систематически упускают именно эту переменную — не потому что создавшие их люди были невнимательны, а потому что язык, на котором сформулирован вопрос с самого начала, не был предназначен для того, чтобы её схватить. Он был предназначен для того, чтобы установить присутствие — и именно это он делает хорошо.
Проблема в том, что эпоха, когда присутствие и мандат были достаточно близки, чтобы их можно было не различать, заканчивается.
И заканчивается она именно потому, что появляются системы, достаточно способные не просто действовать быстрее человека, но и оценивать самого человека. Банковский алгоритм оценивает поведение клиента и решает, можно ли ему доверять в этот момент. Медицинские системы оценивают решения врача и при определённых условиях эскалируют случай «через его голову». Системы в высокоставочных доменах начинают включать компоненты, способные квалифицировать отклонение оператора от ожидаемого протокола как признак недееспособности или компрометации.
Это инвертирует направление оценки, на котором исторически держался весь концепт человеческого контроля. Не человек оценивает систему и решает, заслуживает ли она доверия. Система оценивает человека и решает, заслуживает ли доверия он.
Пока это происходит в доменах, где ставки сравнительно невысоки и последствия обратимы. Но архитектурный принцип, лежащий в основе, не является специфическим для этих доменов — он является общим и масштабируемым. И именно поэтому вопрос о том, что означает человеческий контроль в системах, способных оценивать своих операторов, не является гипотетическим. Он является актуальным.
Что мы называем человеческим контролем, если само право на сомнение — способность оператора замедлить процесс, усомниться в рекомендации системы, сказать «подождите» — становится переменной, которую архитектура системы может предоставить или не предоставить, в зависимости от того, считает ли она в данный момент сомневающегося человека достаточно надёжным, чтобы его сомнение имело оперативное значение?
На этот вопрос нет готового ответа. Строить инструменты управления автономными системами, не задав его, — это выбор, который мы уже делаем по умолчанию, просто не осознавая этого.