Dans « L’État des algorithmes » toute forme de désobéissance est inconcevable

Par Corentin Luce.

Grâce à leur puissance de calcul et d’apprentissage, les algorithmes décideront mieux que nous ce qui est bon pour nous.

Tels sont les mots prophétiques de Yuval Noah Harari dans 21 leçons pour le XXIe siècle. Devant cette projection de plus en plus réaliste (crédit social en Chine, les débats autour de la loi Avia, DataJust…), bon nombre de spécialistes s’insurgent et alertent sur les possibles conséquences.

Pour Aurélie Jean :

Chaque erreur nous donne l’opportunité de retenir une leçon, de catégoriser une situation dans notre cerveau afin de nous alerter […] Une vie entièrement conditionnée algorithmiquement nous empêcherait de faire des erreurs, et donc d’apprendre » – De l’autre côté de la Machine.

Bref, à travers la quête incessante de l’efficacité, l’appauvrissement intellectuel des êtres humains. L’ère des algorithmes coïncidera donc avec la fin du choix et de la liberté ? Si tel est le cas, est-ce si grave ?

L’Homme, après tout, ne cherche peut-être que le bonheur, jamais grandiose et qui « paraît toujours assez sordide en comparaison des larges compensations qu’on trouve à la misère » – Le meilleur des mondes – Aldous Huxley.

Pas la liberté. Mais qu’en est-il véritablement de la justice prédictive et de l’IA en 2020 ?

Rencontre avec Yannick Meneceur, magistrat détaché au Conseil de l’Europe dans des fonctions de conseiller en politiques de transformation numérique.

Votre ouvrage, L’intelligence artificielle en procès, est un véritable pavé dans la mare. Vous ouvrez le débat sur le poids des algorithmes et de l’IA…

Je ne sais pas si c’est un pavé dans la mare, puisque je ne suis pas le seul à alerter sur le grand malentendu touchant cette technologie. Le problème est plutôt d’être audible dans l’opinion publique, puisque l’histoire que l’on nous vend depuis des décennies et qui a été forgée (notamment) par l’industrie numérique, a pris corps de manière assez profonde dans notre inconscient collectif.

Pour le formuler simplement, je pense que l’informatique a été saisie par un étrange projet de société, qui laisse peu de place au débat démocratique et à la contradiction. Comme dans d’autres domaines technologiques, il y a une sorte d’épidémie de « mauvaise science » et il est de plus en plus fréquent de voir énoncés, comme des vérités absolues n’appelant aucun débat, les mérites évidents de cette « intelligence artificielle ». En réalité, on se retrouve bien face à des « algorithmes », plus précisément des programmes informatiques, dont l’on connait bien les vertus et les limites.

Qu’il s’agisse d’imiter un raisonnement en « programmant » des règles logiques ou de laisser l’ordinateur découvrir ces règles en cherchant des corrélations dans de très grands jeux de données, l’ordinateur manipule des paramètres qui sont plutôt robustes quand il s’agit d’informations quantitatives et objectives. En revanche, quand il emploie des paramètres qui sont le résultat d’informations interprétées, donc avec une part de subjectivité, et qualitative, les choses se gâtent.

La pratique du droit algorithmique est-elle vraiment en train de se développer dans le monde ?

Moins qu’un « droit » algorithmique, je pense que l’on se retrouve en réalité face à un changement profond de gouvernementalité qui nous conduit à ce que je qualifie « d’État des algorithmes ». Antoinette Rouvroy avait parlé pour sa part, bien avant moi, de « gouvernementalité algorithmique ». Adrien Basdevant parle même de « coup data » dans son livre L’Empire des données.

L’existence d’un droit implique une norme prédéterminée et acceptée comme légitime. Son fonctionnement doit être compréhensible et accessible à tous et des moyens de contraintes doivent pouvoir s’exercer en cas de manquement. Dans « l’État des algorithmes », ces conditions ne sont pas réunies puisque la transgression, et même toute forme de désobéissance, est rendue inconcevable.

Nos doubles numériques, constitués de toutes les informations que l’on sème par l’emploi des réseaux sociaux, par nos traces de connexion sur internet offrent une prise considérable à des dispositifs calculatoires censés nous « conseiller » sur la meilleure conduite à tenir. Choix de restaurant, d’hôtel voire même d’amis ou de partenaires, tout est fait pour réduire le risque et enfermer nos choix dans des options prédéterminées, de véritables « cages logiques ».

Par commodité, l’on cède donc une part non négligeable de notre liberté à nous déterminer avec une totale désinvolture. Et l’on voit comme il est facile, dans ce terreau favorable, d’imposer dans l’espace public des dispositifs qui, au prétexte de sécurité et de praticité, ne rendent même plus concevables certaines options.
Même Orwell n’avait pas imaginé de la sorte : il avait pensé à un contrôle vertical et autoritaire sur les individus. Ici, nous y cédons avec sourire et entrain avec l’illusion de la liberté.

Alors que la crise du Covid-19 a accentué le poids des géants du numérique et a révélé, plus que jamais, l’importance des nouvelles technologies, pourquoi intenter un procès à l’IA ?

Entendons-nous bien, en mettant l’IA en procès, je n’entends pas dresser un réquisitoire à charge ! Bien au contraire, j’ai tenté de collecter des preuves, de les instruire avec objectivité et de les juxtaposer pour tenter d’y donner du sens. La grille d’analyse bénéfices/risques a trop souvent été mobilisée pour traiter de la question, et l’on se rend bien compte qu’elle a été inopérante pour dégager les réels enjeux.

Ma perspective a été de revenir aux faits, à l’histoire de l’IA, à ses racines informatiques et statistiques pour en comprendre le fonctionnement et le restituer aux lecteurs. Et de contextualiser ce fonctionnement technique dans notre environnement politique actuel afin de comprendre comment cette IA a pu être instrumentalisée à des fins mercantiles, quitte à la survendre.

Vous avez raison de souligner le fait que la crise actuelle est riche d’enseignements : une série d’articles dans The Economist parus en juin 2020 font cet exact constant. L’IA, à l’épreuve des faits, n’a pas rempli toutes ses promesses et la revue constate que si un nouvel hiver ne s’est pas encore abattu sur cette technologie, on commence à sentir une légère brise d’automne.

Pendant que beaucoup de philosophes et commentateurs parlent d’ère de post-vérité, vous insistez beaucoup sur le tournant que constitue l’IA concernant notre vision de la vérité, en reprenant le terme de alèthéia (Éric Sadin), pouvez-vous nous expliquer cette tension et ses conséquences ?

Ce terme, issu de la philosophie grecque, qualifie en effet un « dévoilement de l’étant » à l’opposé d’un jugement qui ne restituerait qu’une simple apparence. C’est avec une grande acuité qu’Éric Sadin constate dans L’intelligence artificielle ou l’enjeu du siècle que l’on fait exercer à l’IA ce rôle, celui de révéler l’exact état des choses, comme un film photographique révèle la lumière.

Antoinette Rouvroy et Thomas Berns ont également relevé le rôle troublant de ces systèmes pour produire une « vérité algorithmique ».

Il faut dire que l’emprise de ces systèmes sur notre quotidien est puissante. Trois facteurs principaux y contribuent selon moi : notre consentement à cette emprise comme je l’évoquais déjà ; le maillage progressif et constant en transformant en données tous les pans de nos activités, jusqu’à celles les plus intimes ; enfin l’autorité particulière de ces systèmes, a priori objectifs et dénués d’intention.

Couplé à deux biais cognitifs majeurs, le biais d’automatisation (on croit facilement une machine) et le biais d’ancrage (difficulté à se départir d’une information chiffrée), tous les ingrédients sont réunis pour qu’une construction particulière de la réalité, issue du calcul, ne s’impose à nous comme étant LA réalité.

Quels sont les dangers résultant du développement de la justice prédictive ?

Les facteurs que je viens d’évoquer suffisent à comprendre le problème : ce qui est très maladroitement qualifié de « justice prédictive » (en réalité un traitement statistique lexical de la jurisprudence) n’est pas à même selon moi de restituer une information avec un minimum de valeur ajoutée.

D’une part, la matière première dans les décisions de justice est loin d’être aussi qualitative qu’on ne l’imagine. Les concepteurs de ces solutions se trompent lourdement en pensant pouvoir isoler les éléments causatifs suffisants dans la plupart des contentieux.

D’autre part, ce nouvel outillage est loin d’être neutre et, comme je l’évoquais, de nombreux biais cognitifs peuvent lui accorder une importance considérable dans le déroulement d’un procès. L’algorithme, quel qu’il soit, ne va pas simplement « documenter » ou « assister » les parties, les avocats et le juge, il va s’imposer dans le débat avec toute la puissance qui le caractérise.

On caricature trop souvent la résistance à cet état de fait comme étant du domaine du corporatisme ou de la peur. Croyez bien que nombre de professionnels du droit ne tombent pas dans ces écueils. Ils opposent en réalité une résistance provenant du fait que notre système juridique, même imparfait et en constante évolution, tente de trouver de difficiles équilibres entre des injonctions contradictoires.

L’introduction d’outils numériques dans la justice procède du sens de l’Histoire, mais la disruption chère aux enfants de la Silicon Valley emporte avec elle une idéologie libertarienne méprisant les acquis d’un « ancien monde ».

Des dégâts considérables et durables peuvent être commis et seule une délibération collective, multidisciplinaire et instruite doit permettre de nous déterminer sur le type de société dans laquelle nous souhaitons vivre.

De l’avis de plusieurs experts, l’algorithme transforme ce qui est fortuit en nécessité impérieuse. Partagez-vous ce constat et quelles en sont les conséquences ?

En écoutant cette question, je pense immédiatement à Antoine Garapon qui, lors d’un entretien au journal Le Point en 2017 avait estimé que « la justice prédictive risquait de transformer la liberté en destin ».

Céder à une forme de société fondée sur le calcul permanent revient exactement à cela. La construction d’un système juridique, fondé sur des principes fondamentaux comme les droits de l’Homme, la démocratie et l’État de droit, est la meilleure garantie dont nous disposons pour nous permettre de transformer les règles morales et éthiques que nous jugeons nécessaires à notre temps en normes, sanctionnées en cas de manquement.

Ce projet de société est aujourd’hui le résultat premier d’élections, de représentants en charge de le mettre en œuvre. Le droit qui résulte ainsi de la loi et d’un processus transparent de délibération, garantit à tous un traitement équitable et individualisé.

La société fondée sur le calcul est tout le contraire de cela : l’individualisation qui résulte d’un profilage a toutes les caractéristiques du déterminisme, car il se fonde sur la présomption d’un comportement en fonction du groupe auquel on appartient. Ainsi, en étant un individu issu de l’immigration, masculin, jeune et demeurant dans une cité en Seine-Saint-Denis, l’on hériterait nécessairement du comportement de tous ses pairs ? Quelque part, l’on est jugé avant même d’avoir commis quoi que ce soit, sur la seule base du comportement passé d’une catégorisation statistique. C’est absolument discriminatoire.

L’autre question clé posée par cette société fondée sur le calcul est le déficit démocratique majeur. Un transfert de gouvernance s’opère des instances traditionnelles de délibération vers des environnements bien plus clos et obscurs. Les arbitrages opérés lors de l’entraînement d’un modèle n’ont rien d’anodins, ce calibrage pouvant en effet potentiellement entraîner un plus grand nombre de « faux positifs » et d’importantes discriminations. C’est ainsi que le logiciel COMPAS aux États-Unis, censé évaluer le risque de dangerosité des individus, s’est révélé extrêmement sévère vis-à-vis des populations afro-américaines non pas du fait d’un positionnement idéologique des concepteurs mais du fait des paramétrages qu’ils ont opérés.

Cet exemple démontre bien le poids tout à fait nouveau de ce qui pourrait être qualifié « d’aristocratie numérique », qui s’est également mise en tête de rendre le monde meilleur et de définir des concepts aussi simples que le bien ou le mal… rappelez-vous de l’ancien slogan de Google « Don’t be evil ». Or de tels choix de société ne relève pas d’une minorité de sachants mais bien d’une comparution des arguments dans un débat démocratique.

Nicholas Taleb, dans son ouvrage Le Cygne noir, présente une réflexion passionnante sur les conséquences profondes d’un événement rare. Il explique qu’un événement rare ne peut pas être pris en compte dans un modèle car il ajouterait des contraintes et une complexité inutile au regard de son poids statistique. Aurélie Jean, dans De l’autre côté de la Machine, écrivait : « si nous basons aveuglément les outils algorithmiques sur l’observation des phénomènes passés (ce qui est leur essence), le monde ne changera jamais ». Selon vous, allons-nous dès lors assister à « la fin de l’individu » (Gaspard Koenig) avec la prédominance des algorithmes ?

Nos sociétés ont toujours été en tension et à la recherche d’un équilibre entre la protection du groupe, quitte à sacrifier certaines libertés, et la protection des individus, quitte à sacrifier l’intérêt collectif.

Les décisions algorithmiques, dont celles prises par des IA, ont l’apparence de pouvoir concilier cette tension en laissant les individus libres de recourir à des solutions numériques pour leur bénéfice individuel, en espérant en retirer un bénéfice collectif. Notons d’ailleurs que c’est l’exact ressort idéologique des applications de suivi de proximité des contacts (proximity tracing) dont les bénéfices n’ont pas cessé d’être vantés par de nombreux responsables publics dans le monde. Or, la liberté à se déterminer devient extrêmement réduite quand ces mêmes responsables affirment que l’on doit utiliser cette application si l’on veut sauver des vies… Que nous dira-t-on dans de nouvelles situations de crises sanitaires ou d’attaques terroristes pour finir de nous convaincre d’employer des outils ?

En assemblant toutes les pièces du puzzle que je viens d’évoquer, les perspectives sont loin d’être radieuses pour l’individu : emprise numérique à laquelle nous cédons contre des services pratiques, transfert de la gouvernance des institutions politiques vers un environnement n’ayant aucune légitimité démocratique auquel j’ajouterai une dernière dimension : le mercantilisme. Des solutions technologiques sont parfois vendues dans la hâte, au mépris de toutes conséquences sur les personnes et de rigueur scientifique. En d’autres termes le moyen devient une fin.

Avec la loi Avia et DataJust (nouvel outil d’aide à l’indemnisation des préjudices corporels), que pensez-vous de l’évolution du cadre juridique en France concernant le rôle des algorithmes ?

L’évolution du cadre juridique tel que nous le connaissons était assez prévisible, puisqu’il avait débuté sous la présidence de François Hollande et des textes comme la loi pour une République numérique qui avait organisé l’open data des données publiques.

J’observe toutefois que ce mouvement très volontariste, s’exprimant pleinement dans le concept de « Startup-Nation », va s’éprouver face au choc de la réalité. Ce choc de la réalité, ce n’est pas la résistance supposée des individus face au changement, mais c’est la confrontation d’une vision du monde face à certains piliers, comme les droits fondamentaux.

Ainsi, la loi Avia s’est retrouvée censurée par le Conseil constitutionnel face au risque d’atteinte à la liberté d’expression, en laissant des opérateurs privés censurer ce qui pouvait leur sembler « manifestement » licite ou non. Est-ce en effet au conseil de surveillance de Facebook, véritable tribunal international sans en présenter les garanties, d’estimer cela ?

Prenons maintenant l’exemple de DataJust : le projet a été lancé dans un cadre global de réforme de la justice et d’amélioration de sa prévisibilité – entendre réduire l’aléa judiciaire qui résulte pourtant de ce qui pourrait être considéré comme une qualité : l’individualisation des décisions.

Là encore, entendons-nous bien. L’idée d’harmoniser l’application de la loi en matière de réparation de préjudice corporel ne m’apparaît pas choquante et il est bien sûr anormal que deux justiciables, face à une situation relativement identique, se retrouvent avec des montants très différents d’indemnisation. En revanche ce qui est choquant, c’est de croire que l’on va résoudre ce problème complexe par une simple exploitation en masse d’un panel de décisions antérieures avec de l’IA. Je ne reviendrais sur mes critiques de fond formulées à l’encontre de cette « justice prédictive », j’insisterai juste sur la possible violation de l’article 6 de la Convention européenne des droits de l’Homme si l’on dissuade les justiciables de soumettre leur affaire à un juge sur la base de ce calcul. On me dira que l’algorithme ne viendra qu’en conseil, en appui… ne soyons pas naïfs face à ces machines qui disposeront d’une autorité bien réelle.

Vous écrivez : « nous entrons dans l’ère de la primauté d’une interprétation du monde par les algorithmes, et d’un État des algorithmes. » La notion d’État, plus précisément la notion d’État de droit peut-elle perdurer avec les algorithmes et la mathématisation de nos communautés nationales par des machines ?

Je serai bref sur cet aspect que j’ai déjà développé. L’invention de l’imprimerie a eu des conséquences majeures sur notre civilisation, car elle a permis à la connaissance, au savoir, de se démocratiser. La Réforme de l’Église, le siècle des Lumières, l’émergence de la démocratie trouvent leurs racines dans cette rupture technologique qui a guidé notre civilisation vers un cap humaniste. Nous nous trouvons probablement avec l’informatique face au même type de rupture, avec une difficulté substantielle : l’absence de cap.

C’est pour cela qu’après m’être fait juge d’instruction dans les deux premières parties de mon livre, afin d’identifier les problèmes techniques et politiques, j’ai changé de robe pour me faire avocat d’une cause : une réglementation dont la boussole serait solidement ancrée vers les droits de l’Homme, la démocratie et l’État de droit. Ce sont ces fondations qui nous protégeront des dérives et des abus.

Selon vous, quelles seraient les réformes à mener pour cette justice numérique : doit-elle être mondiale, pour quelle architecture juridique et quels principes ?

Le groupe de haut-niveau sur la coopération numérique des Nations-Unies a identifié dans un rapport paru en 2019 plusieurs recommandations et actions, dont un mécanisme de coopération mondial du numérique. Il est question dans ce mécanisme de pouvoir mettre en cohérence différents acteurs internationaux et étatiques, afin de construire, un peu comme des poupées russes, différents niveaux de réglementations.

J’ai tenté de réunir dans L’intelligence artificielle en procès quelques-uns des éléments qui pourraient constituer une Convention cadre réglementant l’IA : principe de précaution, proportionnalité du recours à des systèmes algorithmiques, mécanismes de certification, formation des professionnels de la donnée sont quelques-unes de mes propositions.

J’insiste également sur l’idée d’une réglementation qui ne s’appliquerait pas à tous les types d’algorithmes, mais qui ferait peser les obligations les plus contraignantes sur les usages où il y a le plus d’enjeux (juridique, économique et social). La mise en place de lois d’expérimentations pourrait tout à fait aider à calibrer cela avec toutes les parties prenantes.

J’ai toutefois conscience de la portée grandement déclaratoire de ces idées : difficile dans un environnement mondialisé, où les agendas de chaque nation (et de chaque opérateur privé) s’opposent déjà sur de multiples questions.

Pourtant, je crois en la vertu du débat et d’autres sujets, comme la protection des données, trouvent aujourd’hui intérêt aux États-Unis alors que peu aurait diagnostiqué un tel développement. Ma contribution n’a vocation qu’à s’ajouter à d’autres déjà existantes pour commencer à donner de la substance à un projet de société démocratique, employant l’informatique pour les finalités imaginées par ses fondateurs.

J’ai employé cette citation de Sherry Turkle en ouverture de mon ouvrage car elle caractérise le mieux ma motivation profonde :

Nous avons eu une histoire d’amour avec une technologie qui nous semblait magique. Ce qui a commencé par un phénomène de salon a fini par devenir un outil de manipulation de masse.