Au-delà du Human-in-the-Loop — Conférence

Conférence vidéo · Projet Architecture de la délégation

Au-delà du Human-in-the-Loop :

les limites du contrôle humain dans les systèmes de décision autonomes

Une conférence structurée sur les limites du Human-in-the-Loop comme catégorie de gouvernance — pourquoi la distinction entre autorité humaine réelle et procédurale importe, et comment des systèmes Dead-Hand peuvent se faire passer pour des systèmes Human-in-the-Loop. Diffusée en français. Durée : environ 33 minutes.

Auteur Andy Kross

Langue Français

Durée ~33 min

Projet Architecture de la délégation

Conférence intégrale · FR · ~33 min

Disponible sur YouTube ↗

Également disponible en

EN Beyond Human-in-the-Loop RU За пределами Human-in-the-Loop

À propos de la conférence

Lorsque le débat public se demande si l'on peut faire confiance à un système autonome — un algorithme de diagnostic, une plateforme militaire, le contrôle d'une infrastructure — il se réduit presque toujours à une seule question : y a-t-il encore un humain dans la boucle ? Cette conférence soutient que la question est nécessaire mais non suffisante, car présence et pouvoir réel sont deux questions distinctes que la gouvernance a traitées comme une seule.

Elle commence par retracer l'origine réelle de l'exigence du Human-in-the-Loop — non pas des recherches montrant que les opérateurs humains décident mieux sous pression, mais d'un malaise institutionnel : aucune institution militaire, médicale ou réglementaire n'était prête à assumer publiquement un système qui décide entièrement seul. Le même schéma se reproduit de manière indépendante dans l'aviation, la médecine et l'autonomie militaire, chacun produisant une présence humaine qui fonctionne comme un mécanisme de répartition de la responsabilité plutôt que comme une garantie de la qualité du contrôle.

À partir de là, la conférence construit son argument structurel en trois temps. D'abord, elle décompose le « contrôle » en quatre capacités distinctes — la compréhension de la situation, le temps, l'indépendance et la capacité à revenir en arrière — dont chacune peut être érodée tout en préservant une conformité formelle. Ensuite, elle reformule la délégation non comme un interrupteur binaire mais comme un spectre, sur lequel un système peut être qualifié de Human-in-the-Loop à presque n'importe quel point. Enfin, à partir d'une transaction bancaire bloquée et du système soviétique de la « Main morte » (Dead Hand) pris comme cas parallèles, elle montre que le mandat opérationnel d'un humain n'est jamais inconditionnel — c'est un état que le système lui-même accorde et révoque, selon des critères que la personne dont il régit le mandat n'a jamais participé à définir.

La conférence se termine en proposant un objet d'analyse alternatif — l'architecture de la délégation : sept questions structurelles portant sur qui initie l'action, comment fonctionne la confirmation, ce que coûte réellement le fait de passer outre, qui a accès à quelles informations, qui détient l'autorité de retarder, comment l'autorité se transfère en cas de défaillance, et qui décide de la décision qui fait foi. Elle se conclut sur un renversement ouvert plutôt que sur des recommandations : des systèmes apparaissent qui évaluent la fiabilité de l'opérateur lui-même — ce qui signifie que le droit de douter, longtemps considéré comme inaliénable, devient quelque chose que l'architecture peut accorder ou refuser.

Plan de la conférence

00:00–02:30

Introduction. La question unique qui détermine si l'on fait confiance à un système autonome — y a-t-il un humain dans la boucle ? — et pourquoi présence et pouvoir réel sur le résultat sont deux questions distinctes que, selon cette conférence, nous avons traitées comme une seule.

02:30–06:00

Chapitre 1. D'où vient cette hypothèse. L'exigence du Human-in-the-Loop n'est pas née de recherches sur la performance des opérateurs — elle est née d'un malaise institutionnel, aucune institution n'étant disposée à assumer publiquement une décision entièrement autonome. Retracée à travers l'aviation, la médecine et la doctrine militaire.

06:00–11:00

Chapitre 2. La présence n'est pas le contrôle. Un opérateur de console disposant d'un droit d'approbation formel, d'environ huit secondes pour s'y opposer, sans accès aux données sous-jacentes, et devant franchir des étapes procédurales supplémentaires pour exprimer un désaccord. Le contrôle décomposé en quatre capacités distinctes : compréhension de la situation, temps, indépendance, réversibilité.

11:00–15:00

Chapitre 3. Pas un interrupteur, mais un spectre. La délégation d'autorité reformulée comme un continuum plutôt qu'une alternative binaire — de la décision entièrement humaine à l'autonomie complète du système — sur lequel un système peut satisfaire au critère « Human-in-the-Loop » à presque n'importe quel point.

15:00–22:00

Chapitre 4. Le mandat comme état conditionnel. Une transaction bancaire bloquée et le système soviétique de la « Main morte » (selon le récit de David Hoffman) montrent que le mandat opérationnel d'un humain n'est jamais inconditionnel — il est accordé et révoqué selon des critères que le système définit lui-même, sans la participation de la personne concernée.

22:00–28:00

Chapitre 5. Un autre objet d'analyse. La proposition centrale de la conférence : remplacer la question « y a-t-il un humain dans la boucle ? » par l'architecture de la délégation — sept questions structurelles portant sur l'initiation, la confirmation, les conditions de contournement, l'accès à l'information, l'autorité de retarder, le transfert d'autorité en cas de défaillance, et l'autorité ultime sur la décision considérée comme valide.

28:00–33:00

Chapitre 6. Un horizon ouvert. Se termine sur un renversement, non sur une conclusion : des systèmes de plus en plus capables d'évaluer la fiabilité de l'opérateur lui-même — ce qui signifie que le droit de douter, autrefois considéré comme inaliénable, devient une variable que l'architecture peut accorder ou refuser.