Il faut qu’on parle de ChatGPT

Depuis déjà dix ans, l’intelligence artificielle vit une période de croissance spectaculaire grâce à des technologies similaires aux réseaux de neurones artificiels des années 1990, qui permettent de concevoir des programmes d’ordinateurs capables d’apprendre, c’est-à-dire de se modifier pour fournir le résultat attendu sur des données de référence. Pour du diagnostic médical automatique par exemple, un tel programme peut traiter des radiographies des poumons pour prédire si des patients souffrent du covid, après avoir été entraîné sur des radiographies pour lesquelles des tests ont permis de connaître le diagnostic correct.

Cet apprentissage automatique peut se faire sur un très grand nombre d’exemples, et il en découle trois qualités remarquables. La première est que, alors que le programme de départ, écrit de manière traditionnelle, est relativement simple, la complexité du programme final, après apprentissage, est immense. La deuxième est que ces systèmes sont capables de résoudre des problèmes qui demandent des critères tellement complexes qu’aucun programmeur humain ne pourrait les concevoir. La troisième enfin, et certainement la plus surprenante, est que le fonctionnement de ces programmes une fois entraînés est pour l’essentiel incompréhensible.

En dépit de cette dernière caractéristique, qui peut être problématique, ces méthodes sont à présent utilisées à grande échelle, en particulier parce qu’elles sont les seules capables d’extraire du sens de signaux naturels complexes: elles peuvent par exemple déterminer les objets et les personnes présents dans une image, les mots dans un enregistrement sonore, ou les sentiments, sujets et actions dans un texte.

C’est ce dernier domaine du traitement de la langue naturelle qui est en ébullition depuis quelques mois car de très gros modèles d’IA, dont le dernier en date est ChatGPT, sont capables de produire du langage naturel complexe, cohérent avec du texte qui leur est donné en entrée. Vous pouvez leur poser une question de culture générale, leur demander d’écrire un conte ou une lettre très formelle à partir d’un résumé de quelques lignes, et ils le feront remarquablement. Bien mieux que la plupart des humains.

Notre éditorial: Intelligence artificielle: nous devons garder le contrôle

Derrière les impressionnantes performances de ces systèmes, il y a avant tout leur immensité. Le plus connu est GPT-3, troisième incarnation du Generative Pre-trained model d’OpenAI. Mis en service au début de l’été 2020, il intègre 175 milliards de paramètres optimisés sur des textes de pages web universitaires, de blogs, de livres, et de Wikipédia, constituant un volume total qui équivaut à 750 000 de fois la Bible, ou 167 fois l’intégralité de la version anglaise de Wikipédia. Le coût de la location des machines nécessaires à l’apprentissage de ce modèle n’a pas été communiqué mais est estimé de l’ordre de 5 millions de dollars. Une machine capable de faire fonctionner ce modèle une fois l’apprentissage terminé coûte 200 000 dollars, et la production de 20 pages de texte consomme autant d’énergie que faire bouillir 1 litre d’eau.

Cette démesure est justifiée par ce que Richard Sutton, pionnier de cette IA par apprentissage, appelle la «leçon amère»: l’indiscutable supériorité de systèmes brutaux et gigantesques sur des méthodes concurrentes, conçues par des humains, beaucoup plus sophistiquées, mais incapables de profiter des mêmes quantités de données d’apprentissage.

Car si ces «modèles de langage» semblent réfléchir, et même parfois disposer d’un «discours intérieur», en réalité ils ne savent faire essentiellement qu’une chose: étant donné un texte interrompu, prédire quel sera le mot qui le continue. Cette tâche au premier abord incroyablement simple peut être itérée pour écrire un texte mot après mot, mais surtout elle demande d’intégrer une très large palette de connaissances. Evidemment, des règles syntaxiques et grammaticales, la synonymie et les registres de langues, mais aussi des connaissances littéraires, historiques, et géographiques («La capitale de la Suisse est. . .») , physiques («Un corps immergé subit une force. . . »), psychologiques («Comme elle avait eu une mauvaise note, Sophie était. . . »), etc. La connaissance est donc là, extraite des milliards de textes utilisés pendant l’apprentissage qui, étant donné leur volume, sont collectés automatiquement et intègrent le meilleur comme le pire de la culture humaine.

Donc quand une de ces IA produit du texte, elle ne fait que broder, un mot après l’autre, sans objectif prédéfini, sans plan, simplement pour que chaque mot posé respecte une cohérence statistique avec ceux qui le précèdent. Le seul état mental dont cette entité dispose, c’est le texte qu’elle a écrit jusque-là. Elle n’a pas de pensées internes, intimes et cachées. Et si elle écrit souvent des vérités, ce n’est qu’un effet secondaire de son objectif premier d’imitation statistique.

ChatGPT marque une étape supplémentaire car il a été optimisé pour produire des réponses qui, en plus, sont jugées satisfaisantes par des évaluateurs humains. Avec un million d’utilisateurs cinq jours seulement après son lancement, son impact semble considérable. Ses utilisateurs sont aussi variés que des étudiants qui lui font faire leurs devoirs, des abonnés de sites de rencontres qui compensent leur manque de bagout, ou des développeurs de logiciels qui lui font écrire des bouts de programmes, car il sait aussi programmer. Dans mon environnement direct, je vois des gens l’utiliser pour des premiers jets de mails sensibles, et surtout des enseignants à tous niveaux qui l’ont testé et confirment pour la plupart que les réponses données à des énoncés bruts obtiendraient de bonnes ou très bonnes notes.

Lire aussi: L’intelligence artificielle, pour quoi faire?

Quel est le futur? En ce qui concerne le développement technologique, rien ne suggère de ralentissement. La recherche sur ces méthodes continue à augmenter la quantité de données d’apprentissage utilisées, et vise à assurer que le discours reste cohérent dans le temps et repose sur une représentation de la réalité partagée avec les utilisateurs. A côté de cette quête de la performance, une partie de la communauté IA cherche à assurer que des principes éthiques sont respectés, que les travers et biais racistes, sexistes ou violents d’une portion importante des données d’apprentissage ne sont pas intégrés dans les systèmes entraînés, et que plus généralement ces systèmes ne pourront pas être utilisés à mauvais escient.

Pour ce qui est de l’impact, il est évidemment difficile d’anticiper exactement les effets économiques et sociétaux que vont avoir de tels systèmes. Au minimum, le résultat sera une automatisation d’un grand nombre de métiers de «cols blancs», qui semblaient à l’abri d’une révolution industrielle: rédaction, édition, analyse, support pédagogique, soutien psychologique, illustration, design graphique, etc.

D’autres conséquences sont beaucoup plus floues. Quelles seront la place et la forme de la communication écrite quand chacun disposera d’un secrétaire capable de rédiger instantanément une lettre longue et nuancée à partir de quelques points clés, et réciproquement de résumer une longue missive? Quelle sera la nature des illusions et du lien émotionnel qui se développera entre des humains et ces IA communicantes? Quelles seront les capacités véritablement créatrices des systèmes d’IA futurs en art et en sciences?

Tout cela ne peut plus être ignoré en prétendant que certains traitements de l’information relèvent d’une sphère inaccessible aux machines, et il serait sage de se préparer.