(III/IV) L’IA sera-t-elle monopolisée par Google et OpenAI ?

Cet article fait partie d’une série. Dans le premier et le second article nous avons couvert les points suivants :

• L’IA va-t-elle augmenter notre productivité ?
• L’IA va-t-elle conduire à un chômage de masse ?
• L’IA va-t-elle accentuer les inégalités entre une élite surpayée et le reste des actifs sous-payés ?
  

• Et quid du jour où l’IA et les machines pourront faire tout ce que savent faire les humains ?

Retournons à la question du jour : l’IA sera-t-elle monopolisée par Google et OpenAI ?

Il est permis d’en douter. Force est de constater que l’écosytème est en plein développement.

Si Bill Gates par exemple pense que les enjeux sont énormes, il considère que rien n’est décidé. Il disait récemment : « Celui qui parviendra à imposer son agent personnel virtuel gagnera gros, car vous n’irez plus jamais sur un site de recherche, vous n’irez plus jamais sur Amazon ». Bill Gates pense que les chances que le grand gagnant de l’IA soit une startup vs un géant de la technologie sont de 50-50. « Je serai déçu si ce n’est pas Microsoft, mais je suis impressionné par quelques startups, dont Inflection »

OpenAI avait été créée en 2015 pour contrer justement le supposé monopole de Google sur l’IA. Depuis, des cadres d’OpenAI sont partis en 2021 monter Anthropic, qui a levé 1.45 milliards de dollars à ce jour, et dont le chatbot Claude vient de dépasser celui d’OpenAI en mémoire contextuelle.

Notons aussi Inflection AI, lancée par un ancien fondateur de GoogleDeepmind et qui impressionne Bill Gates. Sans oublier bien sûr Meta, dont le Français Yann LeCun, un des trois « parrains » du deep learning, dirige la recherche en IA. On pourrait aussi citer la canadienne Cohere, valorisée à 2 milliards de dollars et dans laquelle a investi Geoffrey Hinton, un autre des parrains du deep learning. Ou encore Character AI, valorisée 1 milliard de dollars, fondée par des anciens de Google ayant travaillé sur son Large Language Model LaMDA, et dans laquelle a investi le célèbre fonds Andreessen Horowitz.

Les géants de la tech se font concurrence entre eux et créent des ponts avec certaines startups : via des investissements, comme Microsoft avec OpenAI, Google avec Anthropic AI, ou des parteneriats, comme AWS d’Amazon qui permet à ses utilisateurs d’accéder aux Large Language Models d’Anthropic, Cohere et d’autres.

Sans parler d’Elon Musk qui s’est décidé cette année à lancer une nouvelle boîte (il en gérait déjà 5 : SpaceX, Tesla, Neuralink, The Boring Company, Twitter) dédiée à l’IA : X.ai. Il a recruté pour cela une pointure de chez Alphabet et acheté beaucoup de puissance de calcul. Il compte sur les flux d’informations émanant de Twitter et du parc de voitures Tesla en circulation pour rattraper son retard et bâtir des modèles les plus capables de comprendre le monde.

Ainsi, même si OpenAI fait la course en tête, il semble qu’on est très loin d’une situation de monopole.

Et Alphabet/Google, Meta/Facebook ont joué jusque-là la transparence, ce qui a profité à tout le secteur et même au-delà !

Les succès récents d’OpenAI ne seraient possibles sans l’innovation majeure des « Transformers » produite et rendue publique par Google en 2017. Cette innovation a ceci de révolutionnaire qu’elle permet de développer rapidement des modèles du langage qui vont apprendre et générer des associations entre mots et concepts même s’ils sont éloignés les uns des autres dans les textes utilisés lors de l’apprentissage.

Google DeepMind a révélé en 2022 un programme d’IA qui a créé une cartographie 3D des 200 millions de protéines connues. Jusque-là, il fallait le temps d’un doctorat, soit 5 ans, pour déterminer expérimentalement la structure d’une protéine, donc l’avoir fait pour les 200 millions de protéines équivaut à un milliard d’années de temps de doctorat ! Google n’a pas cherché à garder pour elle cette innnovation, la nouvelle base de données de protéines est publique. Elle a été utilisée par différents acteurs tiers pour développer des vaccins contre le paludisme, des enzymes capables de digérer les déchets plastiques et de nouveaux antibiotiques, a déclaré son PDG Demis Hassabis.

FAIR (Facebook AI Research, dirigée par Yann LeCun) a rendu public en février 2023 le Large Language Model LLaMa, développé par 14 chercheurs dont 10 Français basés à Paris. Ce modèle, qui devait au départ être disponible juste pour les chercheurs dans le monde, a fuité et précipité une explosion d’innovation open-source sans précédent depuis trois mois. Le chatbot Hugging Chat de la startup Hugging Face (fondée par 3 Français) n’existerait pas sans LLaMa.

Meta a récidivé quelques mois plus tard en juillet dernier, avec LLaMa 2. Mais cette fois, le modèle est open source et gratuit pour un usage commercial dès le départ. « Je pense qu’on peut arguer que Llama 2 est le plus grand événement de l’année en matière d’IA », déclare un chercheur de l’entreprise Hugging Face. LLaMa 2 a été réalisé en utilisant 40 % de données en plus que l’original. Un chatbot construit avec ce modèle est capable de générer des résultats comparables à ceux du ChatGPT d’OpenAI, affirme Meta.

LLaMa 2 va permettre aux petites entreprises ou aux codeurs isolés de créer plus facilement de nouveaux produits et services, accélérant potentiellement le boom actuel de l’IA.

On peut citer également le mémo interne édifiant d’un chercheur de chez Google, rendu public début mai et qui a fait grand bruit, expliquant à quel point Google et OpenAI étaient démunis face à l’essor de l’AI open source, extrait : « Bien que nos modèles détiennent toujours un léger avantage en termes de qualité, l’écart se réduit étonnamment rapidement. Les modèles open source sont plus rapides, plus personnalisables, plus privés et plus capables. Avec 100 dollars et 13 milliards de paramètres ils font des choses que nous trouvons difficiles nous avec 10 millions de dollars et 540 milliards de paramètres. Et ils le font en semaines, pas en mois. »

« La barrière à l’entrée pour l’entraînement et l’expérimentation est passée de la production totale d’un grand organisme de recherche à celle d’une personne le temps d’une soirée, avec juste une ordinateur portable costaud » , affirme encore le mémo. Un Large Language Model peut maintenant être peaufiné pour 100 $ en quelques heures. Avec son modèle rapide, collaboratif et peu coûteux, « l’open source présente des avantages significatifs que nous ne pouvons pas reproduire ».

Autre exemple récent parmi tant d’autres, des développeurs dans leur coin ont peaufiné LLaMA et mis un point à moindre coût un modèle qui fait mieux que GTP-4 sur les tâches arithmétiques.

La concurrence s’intensifie encore, trois Français, l’un des chercheurs derrière LLaMa, avec un autre ancien de Facebook et un de DeepMind, viennent de fonder Mistral AI en France, avec une levée de 100 millions d’euros.

Encore plus surprenant, en septembre 2023, un institut technique aux Emirats Arabes Unis a partagé un nouveau modèle open source, Falcon 180B, qui fait mieux que LLaMa 2 a mesuré Hugging face, rapporte The economist.

OpenAI a été relativement transparent jusqu’à GPT-3 avant de se refermer. Cela a suffi à faire éclore EleutherAI, un centre de recherche à but non lucratif qui joue un rôle central dans la communauté open source aujourd’hui. Sans EleutherAI, Stability AI (aussi connue pour son IA génératrice d’images Stable Diffusion) n’aurait pas pu sortir son language model open source StableLM.

L’IA est en train de devenir une « commodity », un produit de base, disponible via interface de programmation d’application (APIs) ou à s’approprier en open source, et que toutes les autres entreprises pourront intégrer à leur processus. OpenAI a ainsi divisé par 10 en mars dernier pour les développeurs d’applications le coût d’accès à ChatGPT par « token » (unité d’information correspondant à un mot ou groupe de caractères textuels).

C’est notre cas chez Yelda, la startup que j’ai cofondée, où nous utilisons les Large Language Models disponibles pour nos intelligences artificielles vocales dont nous équipons notamment les mairies, permettant de prendre charge la moitié des appels à la ville de Plaisir par exemple, ce qui laisse plus de temps aux opérateurs pour les requêtes plus compliquées.

Même scénario pour les IA génératrices d’images. La technologie la plus en pointe n’est pas Dall-E d’Open-AI mais celle de MidJourney, celle à qui on doit les images du pape en doudoune. MidJourney a été créée en juillet 2022, ne compte que 11 employés à plein temps et n’a pas levé de fonds ! On pourrait aussi parler de Runway, spécialisée dans l’IA générative et l’édition vidéo, valorisée à 1.5 milliards de dollars.

Les modèles d’IA deviennent plus performants, et sont reproduits en open-source de façon de plus en plus compact, si bien que très bientôt on pourra même les faire tourner sur nos téléphones sans être connecté à internet !

Sam Altman partageait que les dernières innovations d’OpenAI et d’autres, bien loin de conduire à un oligopole, offrent des opportunités sans précédent aux entrepreneurs : « Il n’y a jamais eu un meilleur moment pour lancer une startup, mieux même qu’après le lancement de l’iphone (…). Les entrepreneurs vont pouvoir bâtir toutes sortes de produits grâce à ces nouveaux outils. Si vous voulez simplement copier ChatGPT, c’est que votre imagination est limitée, l’univers des possibles est si vaste. (…) Il y a tant à faire, si vous pensez que nous monopolisons l’IA, c’st que vous n’avez pas pris la mesure de la situation. »

Sam Altman prêche bien sûr pour sa paroisse, mais c’est indéniable, l’écosytème est en plein boom, les compétences circulent d’une entreprise à l’autre, les acteurs et les investissements se multiplient, le secteur open-source est très dynamique.

Et il y a une autre bonne raison pour laquelle il est très dur pour le premier de la classe de prendre le large et laisser dans autres dans la poussière, comme l’explique The Economist : le coût le plus important n’est pas l’entraînement des modèles mais l’expérimentation préalable. De nombreuses idées n’ont pas abouti, avant d’arriver à celle qui mérite de passer au stade de l’entraînement. Sur les 500 millions de dollars qu’OpenAI aurait perdu l’année dernière, la phase d’entraînement de GPT-4 ne représenterait que 100 millions de dollars. Le reste du secteur entend très vite parler des nouvelles d’idées qui ne mènent nulle part. Tout se sait très vite.Cela aide les concurrents d’Openai à éviter de s’engager dans des impasses coûteuses. En bref, le leader s’épuise à faire la R&D pour les autres.

Beaucoup de raisons de penser qu’il va être difficile pour quelques entreprises de monopoliser le secteur.

Il y a tout de même quelques nuages à l’horizon…

OpenAI s’est refermé, n’a quasiment rien partagé des détails de son Large Language Model le plus avancé, GPT-4, qui est sous le capot de la version la plus performante de ChatGPT et Bing AI de Microsoft, tous deux bien supérieurs à Bard de Google d’après de nombreux testeurs chevronnés dont Ethan Mollick, professeur à l’université de Wharton.

Si les grands acteurs du secteur cessent de partager autant qu’ils l’ont fait jusque-là, l’open source ne parviendra pas à suivre, disent certains. Ilya Sutskever, le Chief Scientist d’OpenAI explique que les modèles privés auront toujours un temps d’avance sur l’open source, et que cela devrait même s’accentuer du fait des besoins croissants en recherche, développement et ingénieurie. Yann LeCun de Meta/Facebook disait la même chose.

Et beaucoup de spécialistes expliquent que pour franchir encore un cap en intelligence, compréhension de notre monde et bon sens, les prochains modèles devront être entraînés au-delà du langage textuel, notamment en digérant du contenu vidéo en masse : après les Large Language Models, les Large Video Models ? Cela supposera encore plus de puissance de calcul et de serveurs, c’est sans doute de nature à favoriser les entreprises qui auront levé le plus de fonds ou se seront rapprochés des géants. L’explosion cambrienne du moment pourrait laisser place à une sélection sans merci.

La régulation de l’IA enfin, bien que souhaitable à plein d’égards, pourrait introduire de nouvelles barrières qui freineraient l’innovation et compliqueraient plus la tâche aux startups qu’aux géants en place.

Quoi qu’il arrive, même si l’innovation devait s’arrêter du jour au lendemain, l’intégration de ce qui est déjà possible à tous les pans de l’économie devrait occasionner des changements incroyables, profitant à tous, à nous les utilisateurs finaux partout dans le monde.