Mes amours avec l’Intelligence Artificielle (2) : mes nuits avec mon AI

Première partie ici

Dès le mois de juin 2023, la conversation technologique, notamment aux États-Unis, tournait autour de la possibilité de créer « son propre chatGPT », selon la formule consacrée par les vulgarisateurs.

Techniquement, l’enjeu est de connecter l’API d’un des grands Large Language Models sur le marché (Bard, Claude, Chat GPT…) sur sa propre base de données, et de l’entraîner sur un échantillon plus restreint et qualifié. Plusieurs sociétés et startups se sont lancées sur le marché des outils pour réaliser ces mini IAs rapidement, comme ADN AI en France. Le coût initial annoncé par des développeurs en juin (plusieurs dizaines de milliers d’euros) a été nettement réduit par ces avancées et nouvelles offres commerciales, même si une grande partie de la valeur (que ces compagnies offriront à coup sûr aussi en termes de services et conseils connexes à la mise en place) réside en fait dans la sélection, la curation, et l’entrainement des données.

Mes nuits avec l’IA

C’est ce que j’ai découvert au mois d’août. Il n’y a pas de coup de foudre dans le domaine de l’intelligence artificielle.

Une fois passée la stupeur de la découverte des produits (avec le panégyrique habituel de réactions, « cela ressemble un humain », « c’est rapide », « il pense comme moi »), il faut vraiment investir ses nuits d’été pour arriver à un produit commercial.

Et encore, dans mon cas, je n’avais pas l’ambition sur ce premier essai de vendre un service, mais uniquement d’offrir au grand public une autre voie d’accès à mes réflexions économiques. Par acte d’amour, j’entends ici le soin que l’on doit apporter à la sélection de la data.

Il suffit de se pencher d’ailleurs sur l’histoire de ChatGPT pour comprendre qu’en plus de son traitement des pages Internet, Open AI a du scanner, numériser, récupérer ou acheter de vastes bases de données ou publications. Et donc si théoriquement, techniquement, dès le 5 août, mon IA existait, il aura fallu trois semaines de nuits moites (aux États-Unis) estivales pour parfaire sa capacité d’analyse.

Le premier sujet délicat dans le choix de la donnée et son utilisation par l’IA est la question des erreurs et hallucinations.

Elles sont généralement dues aux conflits entre chiffres ou points de vue. Ce point, fréquent sur les IAs généralistes, aurait dû être réglé par le choix du corpus dans le cas de mon expérience estivale : a priori, sauf schizophrénie, je suis cohérent avec moi-même, et malgré des variations de langage ou de points de vue sur l’actualité, mes approches et interprétations sur les grands sujets économiques (croissance, retraites, pauvreté, progrès technologique, finances publiques) ne varient pas.

Dans le cas des premiers tests de www.sebastienlayeecobot.com, c’est la perspective temporelle qui brisait parfois la logique des raisonnements. J’avais pu donner des interviews fin 2016 où je donnais mon avis sur l’évolution de l’économie en 2017. L’IA paraissait tantôt répondre comme si elle était effectivement en fin 2016, tantôt en réintégrant des arguments et jugements obsolètes dans un discours contemporain. Il a fallu se résoudre à retirer du corpus les interviews anciennes et prospectives. Cet inconvénient était compensé par la capacité de l’IA à reprendre un prisme d’analyse ancien (par exemple mon interprétation de la crise financière de 2008) pour l’appliquer à une situation contemporaine.

Le second sujet d’inquiétude fut le caractère circonscrit du corpus de donnée.

Avec initialement 3,3 millions de signes ou tokens dans la base de données (l’équivalent d’une petite centaine de livres standards), je n’avais pas abordé tous les sujets économiques. En testant le bot avec certains amis, une question sur trois n’avait pas de réponse, le bot se contentant d’indiquer que Sébastien Laye n’avait jamais traité du sujet.

Rappelons ici que nous aurions pu corriger le tir en « rebranchant » l’IA sur le web comme ChatGPT, mais cela aurait dégradé la qualité de la réponse et trahi la promesse du bot. Depuis lors, mon traitement de ce sujet a été d’écrire des fiches ou des notes reflétant mes idées et analyses sur les sujets non traités dans mes livres, tribunes ou rapports, afin de compenser les trous noirs de cette IA. La base de données est ainsi plus proche des 3,7 millions de tokens ces jours-ci, et je continuerai la mise à jour sur le long terme.

Enfin, le troisième sujet – le plus important –  fut la définition du style, de la manière de raisonner et de poursuivre un jugement analytique.

En aucun cas le simple fait d’utiliser une base de données faites de mes écrits ne garantissait la cohérence de l’analyse ou la ressemblance avec mon style. Il a fallu travailler ce qu’on appelle en IA la persona, c’est-à-dire les caractéristiques du bot. Comme pour le prompt engineering, cette phase est en train de devenir un métier aux États-Unis. Après quelques semaines de tâtonnements, la persona du bot est définie par environ 40 lignes et 50 critères. Et je l’avouerai, il y a un seul biais – que vous me pardonnerez-, il est indiqué que le bot doit avoir une approche libérale des sujets économiques (tout comme le vrai Sébastien Laye). Comme certaines personnes sont payées 1000 dollars de l’heure pour ce type de travail, ma persona peut encore être améliorée !