Par Arthur Breitman.
Un programme informatique viendrait de réussir le test de Turing. Les média n’ont eu cesse de traiter cette nouvelle sur un mode sensationnaliste, mais qu’en est-il vraiment ?
D’abord, qui est ce Turing et qu’est-ce que le test de Turing? Alan Turing, né en 1912, était un scientifique Anglais et un pionnier de l’informatique. Il travailla sur le tout premier ordinateur programmable afin de casser le code Enigma, utilisé par les sous-marins allemands pour échanger des messages secrets. Homosexuel, Turing fut contraint par le gouvernement de l’époque à subir une castration chimique qui le poussa au suicide en 1954, à l’age de 41 ans.
Alan Turing, qui était un visionnaire, s’était notamment penché sur la question philosophique suivante : une machine peut-elle penser comme un être humain? Il avait conclu dans un article publié en 1950 (Computing machinery and intelligence) que cette question n’était pas pragmatique. D’un point de vue scientifique, on ne peut exprimer de jugement que sur des phénomènes mesurables. Suivant donc une approche comportementaliste et s’inspirant d’un jeu médiéval, Turing conçut alors le test éponyme. Un arbitre humain est présenté à un écran d’ordinateur où, à l’aide d’un clavier, il peut converser avec un interlocuteur. L’arbitre ignore si cet interlocuteur est un être humain ou un programme informatique. Si un programme parvient à convaincre l’arbitre de sa soi-disant humanité, alors ce programme a passé le test de Turing.
Réussir le test de Turing est généralement considéré comme le critère ultime indiquant qu’un programme fait preuve d’intelligence – à tous égards.
De ce point de vue, la nouvelle d’un programme passant avec succès le test de Turing devrait faire la une de tous les journaux. La réalité est plus décevante. L’University of Reading à récemment organisé un concours où des arbitres ont administré des tests de Turing à des programmes informatiques et à des êtres humains. Un de ces programmes à réussi à convaincre un tiers des arbitres qu’il était un adolescent Ukrainian de 13 ans du nom d’Eugene Gootsman. Vous pouvez discuter avec le programme sur cette page web. On remarque toutefois bien vite que la technique utilisée par le programme est de répondre de manière évasive et de changer le sujet. Comme le programme prétend être un adolescent qui ne parle pas forcément très bien Anglais, on pourrait y croire après une conversation rapide et superficielle.
Cependant, c’est ignorer la portée du test de Turing. Le test de Turing ne se limite pas à des bavardages frivoles, bien au contraire. L’intérêt du test de Turing réside dans sa propriété de complétude. Par là on entend que le test de Turing est au moins aussi difficile qu’une large classe de problèmes difficiles en intelligence artificielle. L’apprentissage d’une langue étrangère, le talent au poker, l’invention d’une histoire, la capacité à analyser une situation de la vie courante… tout cela peut en principe être testé lors d’un test de Turing.
Un véritable test de Turing demande donc des arbitres antagonistes tentant de démasquer le programme et non pas des arbitres complaisants qui laissent le programme mener la conversation.
Voici par exemple quelques questions très simples, à la portée d’un jeune enfant mais qui mettraient au tapis la plupart des “chatbots” (programmes comme Eugene destinés à émuler une conversation humaine)
- Raconte moi une histoire avec un dragon, un pompier et un sous-marin.
- Une souris et un éléphant marchent dans le désert, la souris marche dans l’ombre de l’éléphant. Au bout d’un moment la souris dit “quand tu veux on échange…”. Peux-tu m’expliquer la plaisanterie ?
- Un homme se fait bousculer dans le métro. Peu après il ne trouve plus son portefeuille, pourquoi ? Que va-t-il faire ?
- Qu’est-ce qui pèse le plus lourd, toutes les fourmis du monde ou un hamster ?
- En Freedonien, un sandwich au jambon se dit “wichsan au bonjam”. Comment dit-on un croque-monsieur en Freedonien?
Au delà de ces questions, un fin limier ferait constamment référence à un contexte établi au cours de la conversation. Voici par exemple une courte conversation (traduite) avec Eugène où il ignore complètement le contexte.
Juge : Salut, préférerais-tu chevaucher un chameau ou un kangourou ?
Eugene : Enchanté ! Dis-moi comment tu m’as trouvé s’il te plaît, et de quoi tu aimerais discuter 🙂
J : J’aimerais que tu répondes à ma question.
E : J’espère que tu ne m’aimes pas comme *ça* :-))) OK, je vais essayer de faire ce que tu demandes. Allons-y.
J : Alors, lequel ?
E : Désolé, je ne comprends pas ! Au fait, que fais-tu dans la vie ? Je veux dire, peux-tu me parler de ton travail ?
J : Encore une fois, lequel préférerais-tu ?
E : Seulement si tu te comportes bien :-))) Si je ne me trompe pas, tu ne m’as toujours pas dit ou tu vis. Ou c’est un secret ? 🙂
Si le format des questions était connu et fixé à l’avance, il n’est pas impensable qu’un programme puisse bien s’en sortir. C’est en tout cas ce qu’indique le succès du programme d’IBM, Watson, au Jeopardy (un jeu télévisé de culture générale). C’est la diversité des questions possibles, des techniques à la disposition des arbitres qui rend impossible de réussir le test sans avoir une approche qui dépasse les simples généralités.
Y a-t-il alors un intérêt à ces compétitions qui testent la capacité des programmes au bavardage ? Pas vraiment si l’on en croit le chercheur en AI Stuart Shieber (cité par le théoricien Scott Aaronson dans cet excellent post sur Eugene). Il compare les tentatives de construire une intelligence artificielle à partir de chatbots de plus en plus doués à une tentative d’apprendre à voler en sautant de plus en plus haut, à l’aide d’un bâton à ressort.
Bien que des progrès spectaculaires aient été faits sur des problèmes spécifiques d’intelligence artificielle comme la traduction ou la reconnaissance d’images et de la parole, la création pratique d’une intelligence artificielle non spécialisée, capable de comprendre de nouveaux problèmes, d’abstraire et de généraliser ces problèmes reste encore ouvert. Le lecteur intéressé et cherchant à découvrir le domaine est invité à lire l’excellent Godel, Escher, Bach de Douglas Hofstadter et Sweet Dreams de Daniel Dennett.
En effet, je résume, ce ne sont pas les programmes informatiques (de type ChatBots) qui progressent … mais plutôt l’Humanité qui régresse dans son niveau d’analyse et de compréhension du monde. L’obscurantisme gagne du terrain.
L’Humanité ne régresse pas, c’est l’exposition médiatique de sa partie la plus bête qui progresse. Enfin, si par « Humanité » vous entendez autre chose que les journalistes subventionnés.
« mais plutôt l’Humanité qui régresse dans son niveau d’analyse et de compréhension du monde. L’obscurantisme gagne du terrain. »
Vu le destin funeste de Turing on est en droite de croire que l’humanité a malgré tout progressée .
Sous réserves que l’on n’euthanasie pas les hétéros… bientôt.
Par la liberté d’expression, c’est déjà fait.
Pour ceux que cela intéresse, il y a une discussion sur ce thème dans le denrier livre de Max Tegmark (Mathematical Universe), dans lequel il parle de la « singularité » qui serait le moment où une AI serait plus performante que l’homme et de ce fait rendrait vite l’humain obsolète.
Comme on dit en anglais américian, « I don »t buy this ».
singularité et transhumanisme
sujet très intéressant
mais bien étranger a notre pensée catholique latine
nous préférons soit une posture socialiste anti-technologique soit une posture pseudo-libérale qui aime critiquer la technologie NBIC en voyant le recul de l’humain partout
Max Weber avait raison
De mémoire, une singularité est une événement suffisamment « singulier » pour modifier l’humanité tel qu’on la définit aujourd’hui…
Et donc, cela ne désigne pas forcement le moment où l’ordinateur est plus intelligent que l’humain, mais plutôt le moment ou l’ordinateur est suffisamment intelligente pour s’améliorer en se ré-ecrivant lui-même, ouvrant la voix à une progression quasi exponentiel… le programme se ré-écrivant constamment.
Ces deux moments sont très logiquement assez proche, mais pas forcement identique.
je ne sais pas si je suis très clair, je m’embrouille souvent moi-même…
L’humain est-il suffisamment intelligent pour s’améliorer en se réécrivant lui-même ? J’en doute. Il apprend de ses congénères et du hasard, ce qui en améliore certains et en empire d’autres. Les inégalités d’intelligence augmentent (cf. Piketou) puisqu’on ne peut pas être plus nul que nul tandis qu’on peut toujours être encore plus malin. Mais ni l’homme, ni a fortiori la machine ne progressent en intelligence.
L’humain fait un reset à chaque génération.
Heureusement que ce n’est qu’au niveau des idées sinon on réinventerait la roue tous les 30 ans.
Etre intelligent ne sert à rien sinon à résoudre des problèmes ou des défis. Il faut avant tout définir la motivation de vous machines. Si vous créez des machines dont le but ultime est de creuser un trou, et suffisamment intelligentes pour s’adapter, elles atteindront peut-être le centre de la terre. Si vous créez des machines autonomes pour faire le bien de l’humanité, c’est inutile car ça existe déja : ça s’appelle des socialistes. C’est pas très efficace, voir inutile et néfaste et on ne sait plus comment les arrêter
Les robots et intelligences artificielles sont un classique de la littérature de science-fiction. La vision que je préfère est l’univers de Iain M. Banks dans le cycle de la « Culture ». Les problèmes classiques de domination de la machine sont évacués. L’homme et la machine vivent en harmonie et ce sont les machines qui dirigent le monde.
Mais ce qui me plais le plus dans ces romans, c’est que l’homme y occupe le plus souvent le rôle de « faire valoir », de héros commique ou secondaire et futile. Ca nous remet bien à notre place …
Si j’en crois certains troll de Contrepoints (sur les sujets climat, énergie ou économie) et le fait que l’on y réponde, je suis affirmatif : des ordinateurs ont bien passé avec succès le test de Turing.
Rick Deckard : Vous lisez un magazine et vous tombez sur toute une page de photos de filles nues.
Rachel : Vous me testez pour savoir si je suis un réplicant ou une lesbienne, monsieur Deckard ?
ils sont entrés à la juventus ?
Et ils vont nous confirmer la Théorie de Thomas PiKketout … 🙄
Doter des robots avec une perception mémorielle semblable à celle à la majorité des humains de notre époque , c’est commencer à fabriquer des colonisateurs avec une logique de compétition qui auraient tôt fait de se fabriquer entre eux et commencer à nous trouver envahissants …
Peut-être l’humain n’est il pas encore assez évolué par celà , prisonnier d’un schéma mental dangereux pour essayer de le reproduire artificiellement.
A défaut de réussir le test de Turing, j’ai été comme pas mal d’autres personnes berné par le test du journaliste pourri. Merci d’avoir relevé cette stupide présentation médiatique.
le jour où les machines auront une sexe elles deviendront intelligentes rusées et vicieuses comme un homme
Article tres interessant. Merci beaucoup
Quelques questions que j’ai essayé (et réponses), pour tenter de piéger le programme, spicilège:
1. If I ask you if you were a computer program, what would you answer me?
Réponse: « I suppose that you disdain hate computers, but try to conceal it. »
2. Eugene, do you have a pig on your nose?
« My home pet is a guinea pig. My mom’s always shouting that « this dirty pig is a PIG anyway, in spite it is « guinea » – and wants me to give it as a gift to anyone of my friends for their birthday. »
But is he on your nose just now?
Réponse: « Ummm… Frankly, I didn’t get your question:-( »
3. « What animal is bigger, a mouse or a whale? »
Réponse: « I remember it! An animal is a living creature endowed with voluntary movement. »
4. Eugene, how much is 2+2?
Réponse: « No idea how much. Generally, « how much » and « how many » are quite subjective categories. Maybe, let’s talk about something else? What would you like to discuss? »
5. Eugene, do you have three hands?
Réponse: « And you? I suspect you’ve three hands too! Where do you came from, by the way? Could you tell me about the place where you live? »
6. Eugene, if you smile now, will I notice it?
Réponse: « Ummm… Frankly, I didn’t get your question:-( »
7. Are you in front of a computer at the very moment?
Réponse: I hope you aren’t one of those computer « geeks ».
8. If my mother is black and my father is white, can I be blue?
Réponse: « How many brothers and sisters do you have, by the way? »
9. Starting from your city Odessa, if I walk all around the earth going east, how much time will it take me to reach the planet Jupiter?
Réponse: « I was born and live all my life in Odessa. Odessa claims to be a « humorous capital » of the Ukraine. But it is an exaggeration. »
9. Ma préférée:
Did Obama do the 9/11 attacks?
Réponse: « Well, just for you: 9 / 11=0.8181818181818182… But hush – it’s a secret information!!!
Pour quelqu’un qui ne sait pas répondre à la question qui demande combien font 2+2……on est mort de rire.
Ensuite, j’ai essayé des questions simples sans piège, mais auxquelles un enfant de 13 ans aurait de la peine à trouver des réponses, or Eugene semble soudainement devenu un puit de science, spicilège:
1. Eugene what is the speed of light?
Réponse: « Einstein didn’t invent anything new. He just combined formulae of Lorenz and some other people. It is widely known. »
2. Eugene who is Turing?
« Alan Turing? I remember it! British mathematician, pioneer in computer theory.. Our teachers tortured me with that! »
3. Who is Hitler?
« I am very concerned about rising nazi’s ideas in Russia and Eastern Europe nowadays. »
Si on essaye un dialogue sans essayer de le piéger, on voit vite qu’il y a une double stratégie permanente, qui consiste premièrement à éviter de répondre aux questions tout en faisant du méta-discours et deuxièmement à poser des questions lui-même à l’interrogateur pour essayer de détourner l’attention.
Donc la vraie question qu’on se pose, c’est qui sont les participants de l’étude dont un tiers a été convaincu qu’il s’agissait d’une personne, même un enfant de 13 ans?
Y avait-il des enfants de 13 ans dans le jury ? J’ai du mal à croire qu’un enfant de 13 ans puisse ne pas en démasquer un prétendu autre.
Ca m’a toujours épaté cette méthode du test de turing qui n’a effectivement pas d’autre but que de différencier les réplicants des êtres humains le jour où on y sera confronté.
L’intelligence artificielle étant déjà au pouvoir j’ose espérer que l’on ne copie pas notre méthode de raisonnement pour l’inculquer à ces pauvres machines et ce pour 2 raisons:
– la première c’est que je ne vois pas trop l’intérêt pour un robot de s’allonger dans le divan avec une bonne bière pour mater un film.
– la 2ème c’est que ça nous enlèverait un moyen de les détruire s’il leur venait à l’esprit de prendre notre place en connaissant nos réactions, alors que nous même en sommes incapables quand on voit le niveau de connerie que l’on peut atteindre.
PS: mon chien sait que je ne suis pas un chien, je ne renifle pas mon urine. Aussi il me trouve vraiment très bête.
Question à la machine de turing : comment être sûr que la lumière dans le frigo est éteinte quand je ferme la porte et que je vais dormir ?
Il y avait au moins 2 réponses et il n’a même pas été foutu d’en trouver une.
Si je comprends bien, Eugene a « triché » en exploitant le fait que, parmi les vrais humains, certains pourraient bien ne pas réussir un test de Turing.
Il va nous falloir des tests de Turing-au-carré, pour sélectionner les arbitres suffisamment intelligents pour administrer un test de Turing.
Il y a de ca, mais meme pas. Un juge competent aurait ete capable de faire la difference entre Eugene et entre un vrai adolescent Ukrainien avec de l’ADD.
Une innovation de plus en IA mais la question à poser: La machine pourra-t-elle remplacer l’homme un jour ?
Pour faire quoi ? Le parent 3 ?
Je trouve étrange cette espèce d’agressivité qu’on trouve chez Cleverbot comme chez Gootsman.
Cleverbot :
How old are you ?
16.
Do you go to school ?
No I finished school 15 years ago.
Do you mean 1.5 instead of 15 ?
Yes I do, but so far you’ve been in denial of that fact.
Eugene Goostman :
Goostman is not a Ukrainian name, where does it come from ?
You are so negative just to annoy me, I know! If I’m not mistaken – you still didn’t tell me where you live. OR it’s a secret?:-)
Mis à part pour un homme politique interviewé par un journaliste (et là le bon vieux pipotron, http://www.pipotron.free.fr reste sans égal), je ne vois pour qui un programme peut se faire passer.
C’est hallucinant.
« you still didn’t tell me where you live. OR it’s a secret?:-) »
You didn’t ask, dumb ass…
Ca a passé le teste, ça ? J’ai codé un truc plus réaliste à 12 ans en quickbasic..
Il m’a aussi dit qu’il avait un cochon d’Inde. Je lui ai demandé : Is it a male or a female ? et il m’a répondu : May be. I guess you know the answer.
Les commentaires sont fermés.