Intelligence Artificielle, Inexorable Armageddon ?

Dans l’état actuel des connaissances et des recherches en cours, le fonctionnement des IA peut-il provoquer des désordres ? des désastres ?  un Armageddon ?

Partager sur:
Sauvegarder cet article
Aimer cet article 0

La liberté d’expression n’est pas gratuite!

Mais déductible à 66% des impôts

N’oubliez pas de faire un don !

Faire un don

Intelligence Artificielle, Inexorable Armageddon ?

Publié le 21 juillet 2017
- A +

Par Thierry Berthier.

Elon Musk, visionnaire ou Cassandre de l’IA ?

Elon Musk, entrepreneur visionnaire, fondateur de Tesla et de Space X, inventeur génial, développeur éclairé de l’innovation, futurologue, futur premier voyagiste du système solaire, communique de plus en plus souvent sur l’intelligence artificielle qu’il considère aujourd’hui comme « le plus grand risque auquel notre civilisation sera confrontée ».

Ses dernières interventions ne souffrent d’aucune ambiguïté, ne s’embarrassent d’aucune précaution pour affirmer que le genre humain est en danger, que le péril est parmi nous et que l’IA pourrait nous conduire prochainement à un Irrémédiable Armageddon.

Elon Musk n’est d’ailleurs pas la seule personnalité de dimension planétaire à donner l’alerte. Il partage ce rôle de lanceur d’alerte ou de Cassandre avec Stephen Hawking et Bill Gates qui tiennent en substance le même discours.

Les mises en garde ont réellement commencé en 2015 avec la publication d’une lettre ouverte devenue célèbre par le FHI d’Oxford alertant sur les risques de l’IA utilisée dans les robots armés autonomes.

Particulièrement pessimiste, Elon Musk affirme qu’il sera vite trop tard pour l’avenir de l’humanité si des mesures conservatoires et contraignantes ne sont pas prises dès aujourd’hui pour encadrer le développement de l’IA.

Musk acteur mondial de l’IA

On pourrait y voir un premier paradoxe ou une légère schizophrénie sachant qu’ Elon Musk est un acteur mondial de l’IA, qu’il contribue à ses progrès dans les différentes activités de R&D qu’il finance et dans les différents projets qu’il soutient.

Pourquoi ne met-il pas alors immédiatement un terme à toutes ses participations ayant de près ou de loin un rapport avec l’IA ?  Peut-on endosser le rôle de lanceur d’alerte en même temps que celui de générateur du péril que l’on dénonce ?

Une pirouette rhétorique pourrait faire dire à Elon Musk que c’est justement parce qu’il participe au projet global de l’IA qu’il bénéficie d’une vision privilégiée des dangers et des périls collatéraux qui nous menacent. C’est effectivement sur cette posture intellectuelle et ce prisme de lecture qu’il faut écouter et lire Elon Musk.

Écouter Elon Musk, c’est, en préalable, filtrer l’écume de son discours qui participe au solutionnisme ambiant en Silicon Valley. Lorsqu’Elon annonce l’homme sur Mars en 2024, il se laisse sept petites années pour résoudre l’ensemble des problèmes inhérents à cette future mission alors que la NASA vient de jeter l’éponge faute de crédits.

L’IA nuira-t-elle à l’espèce humaine ?

Le tropisme solutionniste sous-estime la complexité de l’environnement et des processus, gomme les obstacles, nie les forces de l’aléatoire et de l’imprévisible et fait preuve d’une certaine arrogance face aux temporalités humaines.

Pour autant, une fois cette écume solutionniste évacuée, il reste des interrogations légitimes sur les capacités futures de l’IA dont celle de nuire à l’espèce humaine. Lors de ses mises en garde et alertes, Elon Musk se projette clairement dans un contexte d’intelligence artificielle forte disposant d’une forme de conscience de ses propres actions.

Sous l’hypothèse d’IA forte, la question de la dérive malveillante d’une IA prend alors tout son sens. Une IA forte pourrait par exemple privilégier ses propres choix au détriment des intérêts humains et s’engager délibérément vers un rapport de force et un conflit. Elle pourrait aussi s’ auto-attribuer la mission supérieure d’œuvrer pour le bien de l’humanité au prix d’un abandon du libre arbitre de ceux qu’elle cherche à aider.

Croyant faire le bien de l’espèce humaine, elle contribuerait au contraire à son aliénation et à sa vassalisation. Dans le contexte d’une IA forte, toutes les situations de concurrences puis de duels avec l’espèce humaine sont rationnellement envisageables.

Ce sont d’ailleurs ces scénarios qui nourrissent depuis trois décennies tous les films de science fiction évoquant l’IA… Finalement, lorsqu’Elon Musk évoque des dérives prévisibles de l’IA forte, il ne fait que proposer de nouveaux scénarios de science fiction qu’il est objectivement impossible de confirmer ou d’infirmer en l’état actuel des connaissances scientifiques.

Les risques de détournement malveillant d’une IA faible en 2017

La situation qu’il convient d’examiner et sur laquelle une réflexion rationnelle doit être menée sans tarder est celle de la possibilité  d’effets collatéraux indésirables, nuisibles ou destructeurs provoqués par une IA faible n’ayant, rappelons-le,  aucune conscience d’elle-même, de son propre fonctionnement et de ses sorties produites.

Dans ce contexte, on ne fait intervenir dans la réflexion que l’existant technologique actuel, l’état de l’art, et la R&D en cours  sur l’IA à l’horizon 2022, en tenant compte d’une durée de programme de recherche sur cinq ans.

Ce cadrage préalable permet d’évacuer les hypothèses indécidables relevant de la science fiction et celles issues d’un solutionnisme niant la complexité des défis technologiques.

La question posée par Musk

La question qu’ Elon Musk pourrait rationnellement poser devient : « Dans l’état actuel des connaissances et des recherches en cours, le fonctionnement des IA peut-il provoquer des désordres ? des désastres ?  un Armageddon ? ».

Concernant les désordres, la réponse est clairement positive au regard des expérimentations de cybersécurité réalisées depuis 2014.

Concernant les désastres et  un éventuel Armageddon, il semble impossible d’apporter  une réponse qui ne relève pas immédiatement de la fiction. Cela dit, il est possible de lister au moins un  scénario dont les mécanismes et automatismes mis en résonance deviendraient si instables qu’ils pourraient échapper au contrôle humain. L’issue  pourrait alors être très incertaine ou chaotique.

Des facteurs d’instabilité

Le premier facteur d’instabilité relève de la cybersécurité de l’intelligence artificielle et rassemble l’ensemble des détournements réalisables par hacking, prise de contrôle illicite ou influence volontairement malveillante des processus d’apprentissage d’un système autonome.

Tay, l’IA conversationnelle de Microsoft en a fait les frais il y a quelques mois avec un apprentissage forcé aux propos racistes et fascistes, le tout en moins de 24 heures d’utilisation. Pour autant, les effets indésirables du détournement de Tay ont été très limités et se réduisent finalement à un préjudice d’image pour l’équipe responsable de ce ChatBot particulièrement vulnérable.

Le détournement d’un système armé autonome s’appuyant sur une phase d’apprentissage serait beaucoup plus problématique. L’armement autonome s’apprête à déferler sur le champ de bataille.

Des robots armés autonomes

Le 10 juillet 2017, le groupe industriel russe Kalashnikov a présenté officiellement sa gamme de robots armés autonomes embarquant une architecture de réseaux de neurones dédiée à la reconnaissance et au traitement automatique des cibles.

La nouvelle doctrine militaire russe a pour objectif d’exclure l’homme de la zone d’immédiate conflictualité et de robotiser plus de 30 % de ses systèmes d’armes. Il en est de même du côté américain et chinois avec le développement de navires de lutte anti-sous-marine  autonomes (programme Darpa Sea Hunter).

Le piratage et la prise de contrôle des ces systèmes autonomes par un adversaire pourrait provoquer d’importants dommages et de fortes instabilités sur le terrain..

De la même façon, les systèmes d’aide à la décision militaires (anciennement appelés systèmes experts) sont eux aussi sensibles aux cyberattaques et peuvent potentiellement devenir la cible de détournement par orientation de leur phase d’apprentissage.

Le problème central des fausses données

A ce titre, le rôle des fausses données injectées volontairement dans l’espace de collecte de ces systèmes (pour les tromper) devient central.

L’IA peut aujourd’hui produire des imitations de si bonne qualité qu’il devient presque impossible de détecter le faux du vrai. Cela a été le cas en 2016 avec la production d’un tableau à la manière de Rembrandt par une IA qui a été éduquée à partir de l’ensemble des œuvres du Maître et qui commandait une imprimante 3D pour l’exécution du tableau.

Plus récemment, une IA a produit une vidéo d’un discours fictif de Barack Obama à partir d’une phase d’apprentissage des vrais discours de l’ancien Président. Le résultat est absolument saisissant !

On imagine les effets sur la population mondiale, sur les marchés et sur l’équilibre géopolitique  d’un faux communiqué vidéo d’un Président américain annonçant une attaque chimique, biologique ou nucléaire fictive… L’instabilité provoquée par la diffusion d’un vidéo « Fake News » crédible de déclaration de guerre pourrait vite devenir incontrôlable…

Les fausses données numériques interprétées ou produites par des IA constituent le premier vecteur d’instabilité induit par l’IA. Elles doivent faire l’objet de recherches et de développement de systèmes automatisés capables de détecter en temps réel et en haute fréquence la véracité d’une donnée puis de donner l’alerte en cas de doute légitime.

Les mécanismes imprévus de l’IA

Enfin, pour faire écho aux propos d’Elon Musk, on doit examiner un scénario inédit qui ne fait pas intervenir de piratage ou de détournement d’IA mais qui s’appuie sur une mise en résonance imprévue de plusieurs mécanismes associés à des IA  distinctes, fonctionnant légitimement et correctement. Pour préciser ce scénario, on utilise deux mécanismes liés à la cybersécurité et au fonctionnement de l’OTAN.

Le premier mécanisme précise que toute cyberattaque massive sur un pays membre de l’OTAN peut entraîner une réponse militaire classique des autres pays membres et des États-Unis après attribution de l’attaque.

Des automatismes d’alerte ont été créés en ce sens. Les États-Unis ont annoncé qu’en cas de cyberattaque massive sur leurs infrastructures critiques, ils se réservaient le droit de riposter par des bombardements. Le cyberespace est considéré aujourd’hui par l’OTAN comme un espace des opérations au même titre que l’espace maritime, terrestre et spatial.

Le programme de Darpa

Le second mécanisme concerne un programme lancé par la Darpa (l’agence américaine de développement des technologies de défense). Ce programme de cybersécurité développe des outils autonomes d’inspection et de détection automatisée de vulnérabilités dans les codes informatiques.

Le travail de recherche de bugs et de failles de sécurité est confié à une IA qui passe en revue les programmes et détecte (une partie seulement) des vulnérabilités.

On peut alors imaginer le scénario suivant :  Un système expert militaire OTAN (une IA) qui souhaite s’entraîner et améliorer ses performances actionne l’IA de détection automatisée de vulnérabilités de programmes sensibles d’un pays membre jugé fragile.

En guise d’exercice, le système expert lance des attaques sur l’ensemble des vulnérabilités recensées du pays membre, en camouflant l’origine de l’attaque et en laissant des traces d’un pays tiers non membre de l’OTAN.

Cette cyberattaque massive rentre alors dans le cadre du processus de réponse automatisée et d’agression contre un membre de l’organisation qui engage alors une réponse militaire sur le pays tiers.

Ce scénario, fortement résumé et simplifié, a fait l’objet d’une étude publiée en 2017 dans une revue de Défense (RGN). Il met l’accent sur le risque réel de mise en résonance d’automatismes indépendants et légitimes associés à des IA qui placées dans une certaine séquence provoquent une instabilité ou une situation de crise. C’est sans doute dans cette perspective de désordres qu’il faut entendre les propos alarmants d’Elon Musk .

Pour conclure…

Il est aujourd’hui strictement impossible de prévoir les futures capacités de l’IA à l’horizon 2035-2040 ou d’affirmer qu’une IA forte sera disponible dans une ou deux décennies.

Pour autant, la prolifération des fausses données numériques créées par les IA, leur qualité et leur impact sur notre écosystème hyper connecté vont produire de fortes turbulences à court terme.

Ajoutons à cela le risque de détournement volontaire ou de mise en résonance de systèmes autonomes pour avoir la certitude que la nécessaire montée en puissance de l’intelligence artificielle ne s’effectuera pas sans quelques dommages collatéraux.

 

Voir les commentaires (16)

Laisser un commentaire

Créer un compte Tous les commentaires (16)
  • La peur de l’intelligence(la sienne) affecte l’homme depuis qu’il en a conscience. Ses doutes ont frappé d’abord ses inventions, et se renouvellent à chaque niveau franchi. Mais l’homme fait de mauvais usages de son intelligence sous l’effet de ses passions:haine, orgueil, mégalomanie, peur.
    Le danger de l’I.A. dépend d’ailleurs de la perversité de ceux qui parviennent à l’infiltrer et à la détourner. L’homme naturellement intelligent élabore une auto-critique de ses tentations à pervertir son intelligence. Il me semble qu’il doit être plus facile de contrôler les déviances d’une machine, que d’un homme naturellement intelligent, mais naturellement passionné.

  • Excellent article, qui ouvre d’immenses champs de réflexion. Juste une idée : et si l’on imaginait qu’une véritable intelligence supérieure ne pourrait chercher que le bien de l’humanité, et y parviendrait ?

  • On aurait alors trouvé Dieu

  • Les potentiels évoqués par Elon Musk évoquent plus une stimulation des craintes populaires, sans doute dans le but de récupérer des subventions pour prétendre en protéger, que des risques véritablement liés à une perte de contrôle des valeurs humaines et humanistes sur les choix des machines. Le problème des IA, c’est d’abord la démission des IN, les intelligences naturelles, par paresse ou par foi mal justifiée. Le principal risque n’est pas le pistolet mitrailleur qui tire sa rafale sans raison, c’est la paresse intellectuelle de celui qui s’y fie plutôt que de former un garde humain en lui conservant son ingéniosité et sa capacité d’analyse et d’exercice du sens commun.
    Elon Musk ? Parlons plutôt de l’ami Henri Guillaumet de Saint-Ex : « Ce que j’ai fait, je te le jure, jamais aucune IA ne l’aurait fait » dirait-il aujourd’hui…

  • IA par un système de vase communiquant pomperait donc l’intelligence humaine….dingue de penser ainsi. Est-ce qu’Internet ou Google a rendu moins intelligent les hommes ?

  • Excellent article qui expose bien les grandes lignes du problème, merci à Thierry Berthier.

    On peut voir l’IA simplement comme une nouvelle technologie, au même titre que les armes à feu ou les explosifs. On peut l’utiliser pour faire des choses utiles ou néfastes. Tout est dans les intentions de l’utilisateur.

    Mais ce qui est vraiment nouveau c’est
    1) la dimension cognitive de la techno: on n’agit plus seulement sur le monde physique mais aussi sur les connaissances et les émotions.
    2) l’auto apprentissage: une IA est capable de prendre des décisions qui ne sont pas prévues explicitement par son concepteur

    Comme toute nouvelle technologie puissante, l’IA présente des avantages immenses et des risques à sa mesure. Pour maîtriser ces risques il y a des travaux énormes à mener sur le plan technique mais aussi en matière éthique et juridique.

    Et je ne peux m’empêcher d’évoquer Isaac Asimov dont les trois lois de la robotique restent pour moi une référence visionnaire. D’accord c’est de la science fiction, mais les mécanismes mis en jeu relèvent bien de la technologie dans un but de maîtrise des risques au service d’une éthique selon laquelle le robot est et doit rester au service de l’homme.

    https://fr.wikipedia.org/wiki/Trois_lois_de_la_robotique

  • « Ce sont d’ailleurs ces scénarios qui nourrissent depuis trois décennies tous les films de science fiction évoquant l’IA… »
    Une exception notable, « Transcendance » avec Johnny Depp, qui illustre à merveille, selon moi, à quel point une IA peut être, par nature (donc en partie par conception) bienveillante alors que l’IN est facilement, par nature (la culture en faisant alors partie) préjudiciable à sa propre espèce.
    Le meilleur film que je connaisse sur le sujet !

  • Bon article.

    Il conviendrait néanmoins de rappeler que le mot Intelligence n’a absolument pas la même signification en Français et en Anglais.

    Intelligence en Anglais signifie la capacité d’apprendre, de comprendre et d’élaborer des jugements ou des opinions qui sont basés sur la raison.

    Alors que l’intelligence en Français est l’ensemble des processus de pensée qui permet de s’adapter à des situations nouvelles.

    Cette différence est fondamentale : l’AI se place sur le plan formel, et dans ce domaine, on a depuis le milieu du XX° siècle établi de nombreuses théories qui assimilent les langages entre eux.

    L’AI (au sens raison artificielle) ne sera donc jamais assimilable à l’intelligence humaine (au sens totalité des capacités cognitives, sensorielles et évolutives) mais peut s’avérer bien plus puissante que la raison humaine, ce qu’elle est déjà dans de nombreux domaines et sur certains critères.

    Mais elle restera, comme la raison, limitée à une représentation discrète donc imparfaite et incomplète du réel, alors que l’intelligence (au sens processus) ne l’est pas. Confondre les deux, et prêter à l’AI des compétences qu’elle ne peut pas avoir est une utopie, qui comme toute utopie finira forcément en dystopie.

  • C’est pa Google qui a vu deux de ses IA communiqué ensemble dans un langage inconnu? Ça promet….

    • Non, ça n’est pas ce qu’il s’est passé. En revanche c’est ce qu’en on compris nos journalistes français.
      Google est votre ami, allez vérifier l’info vous verrez que c’est anecdotique et sans commune mesure avec les angoisses existentielles de nos médias français !

      • Mon ami Google m’a pondu ce lien:

        http://www.journaldugeek.com/2016/11/07/ia-google-langage-chiffre/

        Je ne vois pas en quoi c’est anecdotique. On est seulement au début du développement de l’IA. Ça va être beau si les IA commençent à communiquer entre eux sans que l’on le sache ou que nous ne sachions déchiffrer leur langage. Imaginer une IA de l’armée états-uniennes qui communique secrètement avec une IA de l’armée chinoise pour comploter contre une destruction des deux pays. On fait comment pour les arrêter? Une scénario à la War game ou un gamin résonne une « IA »?

  • « Croyant faire le bien de l’humanité, elle contribuerait en fait à son aliénation ».
    N’est-ce pas le projet, résumé en une phrase, du socialisme?

  • Cette peur n’a en fait été créée que par les auteurs de Science Fiction, qui ont trouvé là un excellent sujet. Mais dans l’état actuel il est prématuré de parler d’IA véritable car elles ne sont pas autonomes et ne peuvent prendre des décisions qui affecteraient l’homme. Ce ne sont que des pannes techniques qui peuvent causer des dégâts. C’est seulement lorsqu’elles seront effectivement intelligentes et capables de penser de manière autonome qu’elles seront en mesure de prendre des décisions pouvant poser problème.

  • bah le discours sur les risques n’est que le préambule d’un autre visant à l’introduction de « règles » alors soit…admettons le danger…quelles règles et qui les fait respecter…

La liberté d’expression n’est pas gratuite!

Mais déductible à 66% des impôts

N’oubliez pas de faire un don !

Faire un don

Joseph Silk n'est pas un fantaisiste ou un auteur de science-fiction. Il est titulaire d'un doctorat en astronomie de l'université de Harvard et a enseigné l'astrophysique et la cosmologie à l'université d'Oxford. Mais ce qu'il écrit dans son livre Back to the Moon : Back to the Moon: The Next Giant Leap for Humankind paraîtra certainement fantaisiste pour beaucoup : il suggère que les humains établissent des colonies sur la Lune – des villes entières sous le paysage lunaire.

 

La survie est possible, explique-t-il, dans le... Poursuivre la lecture

L'ingénierie est un outil important pour la société, mais nous devons en reconnaître les limites.

Voici un tweet très intéressant mettant en évidence certains commentaires d'Elon Musk :

https://x.com/elon_docs/status/1810974582053933266

Les commentaires de Musk m'ont intéressé parce qu'ils soulignent l'une des distinctions les plus mal comprises dans le monde de la politique : les problèmes d'ingénierie par rapport aux problèmes économiques.

Examinons ces deux types de problèmes pour comprendre pourquoi Musk a rais... Poursuivre la lecture

0
Sauvegarder cet article

CNBC a qualifié l'espace de « prochaine industrie de Wall Street représentant un milliard de dollars », Bank of America a prédit que « l'économie spatiale en pleine croissance fera plus que tripler au cours de la prochaine décennie pour devenir un marché de 1,4 milliard de dollars » et, selon une étude du Forum économique mondial d'avril 2024, l'économie spatiale devrait croître pour atteindre une valeur de 1,8 milliard de dollars d'ici 2035. Morgan Stanley s'attend à ce qu'une entreprise basée dans l'espace crée le premier trillionnaire au m... Poursuivre la lecture

Voir plus d'articles