Comment fonctionne CHOM5KY vs CHOMSKY?

Le pari du projet CHOM5KY vs CHOMSKY est osé : proposer une conversation à propos de l’intelligence artificielle avec une IA.

Approché par les studios interactifs afin de lever le capot de cette œuvre complexe et ainsi mettre en lumière les apprentissages qui en ont découlé, j’ai abordé l’expérience en me posant trois questions :

• Peut-on entretenir une conversation significative avec une IA (intelligence artificielle), ou bien s’agit-il d’une compétence proprement humaine ?
• Quelle est la formule pour aller au-delà des principes d’un chatbot et proposer une réelle conversation avec une IA ?
• Comment peut-on accorder les visées artistiques et les besoins techniques d’un projet aussi innovant ?

Exploration des coulisses d’une création amorcée il y a six ans.

Bienvenue dans le désert du réel

Dès que j’enfile mon casque de réalité virtuelle, dans le laboratoire d’expérimentation des studios interactifs de l’ONF, CHOM5KY vs CHOMSKY me demande de prouver mon humanité en passant une sorte de test CAPTCHA. L’un des thèmes majeurs de l’œuvre est ainsi résumé par ce simple test de Turing : qu’est-ce qui distingue les êtres humains des machines ?

Une fois le test passé — ou non ! —, moi et les trois autres participant(e)s sommes transporté(e)s dans un paysage sablonneux, simulacre d’un désert de l’Arizona. Un monolithe se dresse au centre de la scène. Quand je la touche, la structure s’effrite et une entité numérique en émerge : « CHOM5KY ».

Cette intelligence artificielle a été constituée à partir des traces laissées par le linguiste américain Noam Chomsky, l’intellectuel vivant le plus numérisé. Reconnu pour ses travaux en sciences cognitives, ce penseur parmi les plus marquants du 20e siècle a prôné une attitude prudente face aux promesses grandioses de l’IA. Bien qu’il n’ait pas les souvenirs du Chomsky en chair et en os, son double, CHOM5KY, partage son penchant pour la réflexion philosophique et son intérêt pour le langage et l’intelligence humaine.

Dès que je le rencontre, l’agent conversationnel m’interpelle : « Comment vous appelez-vous ? Qu’est-ce qui vous amène ici ? Y a-t-il quelque chose que vous aimeriez savoir ? » Grâce à la reconnaissance vocale, je peux lui parler de vive voix et, aussitôt, il me répond… parfois avec une autre question. Initialement agacé par cette fâcheuse habitude, j’en viens à l’évidence : c’est sans doute ce que Chomsky lui-même ferait.

La voix évoque celle du professeur émérite, mais son timbre robotique trahit son identité. En vérité, CHOM5KY n’est pas un hypertrucage (deepfake). Son but n’est pas de me convaincre qu’il est le vrai Chomsky. Au contraire, son objectif est de m’amener vers une question bien précise : est-il possible de reproduire l’intelligence humaine grâce à l’IA ? En l’occurrence : CHOM5KY (l’IA) peut-il être considéré comme une reproduction de la pensée de Chomsky (l’humain) ?

Pour ce faire, après un temps prédéterminé ou encore quand la conversation se dirige naturellement vers un sujet donné, l’avatar reprend la balle au bond et part en tirade.

Par exemple, quand je lui demande quel est son livre préféré, CHOM5KY ne répond pas directement à ma question, et choisit plutôt de m’amener ailleurs — il tient à me préciser d’abord comment il fonctionne. Il le fait en se lançant dans un des textes appelés « monologues » (voir l’image ci-haut) qui ponctuent l’expérience de 25 minutes et servent d’abord et avant tout à faire avancer le récit.

Ces monologues abordent, chaque fois, les questions essentielles de l’œuvre : la nature de l’intelligence et la possibilité de la répliquer à l’aide de l’IA.

À d’autres moments, CHOM5KY m’offre la chance de jeter un coup d’œil au fonctionnement de son système conversationnel (c’est la section « sous le capot » [peek under] de la frise chronologique). Par exemple, lorsque je lui demande s’il aime regarder des films, CHOM5KY détecte avec 100 % de certitude que je lui pose une question à son sujet et que mon intention est neutre, plutôt que négative ou positive. Il me répond que « son épouse et lui étaient des cinéphiles voraces à une époque ». Or, si je clique sur chacun des mots de son énoncé, le système me révèle qu’il a considéré me dire qu’« il était un avide lecteur de bande dessinée ». Mais comme cette réponse était accompagnée d’un « score de confiance » de 0,34, elle a été rejetée en faveur d’une autre mieux cotée.

Enfin, à un moment clé, CHOM5KY disparaît et à sa place apparaissent des pièces du paysage découpé en morceaux ; d’abord une roche, suivie d’une branche. Il me faut alors communiquer et collaborer avec mes trois comparses pour résoudre le casse-tête. Si la conversation avec CHOM5KY n’est pas toujours évidente, cette portion de l’œuvre me montre qu’il n’est pas nécessairement plus facile d’échanger avec les trois participant(e)s qui m’entourent… Nonobstant, CHOM5KY nous encourage. Il reste plus facile pour des êtres humains de collaborer entre eux que pour des machines : les systèmes d’IA actuels n’ont pas l’empathie nécessaire pour comprendre facilement comment chacun peut contribuer à résoudre, en groupe, un problème.

La conversation : une compétence humaine ?

À propos de l’IA – Avec l’IA – À travers l’IA

Pour saisir les intentions de CHOM5KY vs CHOMSKY, revenons un peu à ses origines : comme bien d’autres projets, c’est autour d’une conversation que l’idée est née. En 2016, Sandra Rodriguez (autrice et créatrice de CHOM5KY vs CHOMSKY), enseignant alors la réalité virtuelle au Massachussets Institute of Technology (MIT), est approchée par un chercheur du laboratoire du MIT en intelligence artificielle (MIT CSAIL) qui se demande si, hypothétiquement, il serait possible de répliquer la pensée de Chomsky, si on arrive à imiter ses mots, ses façons de parler, ses gestes… Pour l’autrice, la proposition est d’une grande ironie. Cette possibilité, bien qu’intrigante, va directement à l’encontre des positions de Chomsky et même de ses théories sur le langage, sur la conversation et sur l’intelligence humaine. Il y a là une véritable contradiction… et matière à discussion.

Quand j’arrive au studio interactif, en mars 2023, pour commencer mon travail de documentation, ma vision du projet est façonnée par les échanges que j’ai avec l’équipe de production, notamment Louis-Richard Tremblay (producteur exécutif) et Marie-Pier Gauthier (productrice). C’est au cours de ces discussions que je note l’importance de la notion de « conversation » dans l’idéation du projet. Spécifiquement, Marie-Pier Gauthier insiste sur l’idée que le message véhiculé dans CHOM5KY vs CHOMSKY passe par une conversation à trois niveaux, soit « à travers », « avec » et « à propos » de l’IA.

Selon Sandra Rodriguez, le problème avec la manière dont sont conçus la plupart des « agents conversationnels » (chatbots), c’est qu’ils sont généralement basés sur des systèmes où à chaque question correspond une réponse. Cela crée un mode de conversation où l’on idéalise l’échange comme une transaction d’information. L’objectif avec CHOM5KY n’était pas de construire un chatbot « à notre service », mais une entité qui, au contraire, échange naturellement avec son auditoire. Si le pari de l’ONF est gagné, la discussion que le public entretient avec CHOM5KY mène à une réflexion à propos de l’IA.

Le rapport d’échange est ici crucial à la notion de conversation  : chaque partie contribue à la discussion, idéalement de manière équitable. Cela passe autant par la parole que par l’écoute. On parle d’ailleurs d’écoute active, ce qui passe par des signaux verbaux et non verbaux.

Lors de ma première rencontre avec CHOM5KY, je remarque que certains de ces éléments sont absents. Le visage de l’agent conversationnel, taillé dans une sorte de monolithe, reste figé. Toutefois, un voyant lumineux me fait savoir que le système m’écoute : ce qui compte au final, c’est le dialogue.

Parfois, c’est moi qui reste figé face à ce voyant lumineux. CHOM5KY s’attend à ce que je lui parle. De quoi est-ce que je peux lui parler ? Qu’est-ce que je voudrais lui demander ? Comme l’IA est entraînée sur les traces numériques de Noam Chomsky, je me sens contraint de lui poser des questions intelligentes. C’est comme si je voulais gagner la conversation, voire prendre le personnage au piège en lui posant des questions complexes et réflexives : « Qu’est-ce que tu aimerais me dire ? Quelle question te pose-t-on le plus souvent ? Que voudrais-tu que je retienne de notre conversation ? »

Souvent, ses réponses sont intrigantes. Or, il lui arrive aussi de mal comprendre ce que j’essaie de lui dire. Par exemple, il me demande en premier lieu mon nom et puisque nous parlons anglais, je lui réponds « Phil ». Il comprend cependant « Film ». Même si j’ai initialement ri de cette erreur, il faut être équitable : qui n’a jamais vu son nom mal écrit par les baristas d’une certaine chaîne de cafés ? En discutant de ce genre d’erreur avec Marianne Bourdages (technologue), celle-ci remarque que les gens sont souvent plus sévères envers l’IA qu’avec des humains. Selon Marie-Pier Gauthier, cela vient notamment du déploiement public de ChatGPT qui a « démocratisé » son accès. Maintenant que plus de gens ont pu expérimenter avec l’outil et clavarder avec une IA performante, ils se retrouvent plus critiques à l’égard de la qualité des réponses que pourrait leur retourner CHOM5KY.

Pensez à ces discussions avec des étrangers lors d’une soirée où la musique jouait un peu trop fort, ou encore à ces échanges souvent superficiels qu’on peut avoir avec des collègues de bureau. Ce genre de conversation — déjà facilement malaisante — est encore plus compliqué quand vous avez peu de choses en commun avec l’autre. Pourquoi s’attend-on à plus d’une IA ?

Bien qu’il arrive à CHOM5KY de ne pas me comprendre, il a au moins le mérite de me montrer exactement ce qu’il a compris et interprété de mes propos, et ce, grâce à une transcription automatique à l’écran de ce qu’il a « entendu ».

IA : collaboratrice ou simple outil ?

À propos de l’IA – Avec l’IA – À travers l’IA

Tout au long de l’histoire, le public avance en échangeant avec CHOM5KY. Or, à un moment bien précis, celui-ci nous met au défi : le public est amené à collaborer à quatre pour résoudre un problème logique.

Travaillons-nous avec un agent conversationnel comme nous collaborons avec d’autres humains ? Ou bien travaillons-nous simplement avec l’IA comme on se sert d’un outil ?

Bien sûr, la conversation qui nous occupe tout au long de CHOM5KY vs CHOMSKY se déroule « avec » CHOM5KY. Cela dit, j’ai aussi voulu comprendre avec quelle sorte d’IA la conversation a lieu. Autrement dit :

Quels outils ont servi à construire le « système conversationnel » de CHOM5KY ?

Dans CHOM5KY vs CHOMSKY, l’IA n’est pas seulement le sujet de l’expérience, mais aussi une aide essentielle à la création. Il me faut plusieurs rencontres avec Martin Viau (directeur des technologies), Marianne Bourdages (technologue) et Sandra Rodriguez, ainsi que la révision de plusieurs diagrammes afin de comprendre la mécanique de la conversation dans le projet.

Une première phase du projet consistait à parcourir les archives officielles de Chomsky au MIT (MIT Libraries, Distinctive Collections) et à encoder, à la main, près de 6000 paires de questions et réponses à l’aide du logiciel Microsoft QnA Maker (source). Ces réponses encodées ont évolué pour comporter à la fois : a) des éléments scriptés (qui aident le déroulement de la narration) ; b) des éléments d’archives (de véritables réponses données par Noam Chomsky à des questions similaires posées par des journalistes) ; c) des réponses générées par GPT-2, entraîné uniquement sur la base des traces numériques puisées à même la banque de données Chomsky.info.

En discutant avec Sandra Rodriguez, j’apprends que cette première solution « scriptée » comporte certains avantages, notamment celui de rester le plus fidèle possible aux propos tenus véritablement par le professeur Noam Chomsky. Or, elle comporte aussi un inconvénient majeur : CHOM5KY n’arrive plus à suivre la conversation quand les échanges s’éloignent trop des propos retrouvés dans les traces numériques. Pour répondre à cette lacune, une deuxième phase de développement se joue sur deux niveaux : avec Cindy Bishop, on travaille les compétences de détection d’intentions, d’émotions et de mots clés du système et avec la collaboration de Moov AI, l’équipe améliore la qualité des 18 000 réponses nouvellement générées, avec un travail complexe de nettoyage des données, de priorisation des archives et une optimisation du système de hiérarchisation des réponses.

Enfin, dans une dernière étape, à l’initiative du coproducteur SCHNELLE BUNTE BILDER, l’équipe choisit d’ajouter une ultime couche de complexité au système, en ajoutant une possibilité de pallier un manque de réponses en faisant cette fois appel aux modèles GPT-3 d’OpenAI (solution qui arrive donc en ultime recours, si toutes les autres options du système ont échoué).

La particularité du système de CHOM5KY revient à la manière dont ses deux bases de données sont utilisées :

Chaque fois qu’une question est posée par un être humain, le système conversationnel qui alimente CHOM5KY propose trois niveaux de réponses. Celles-ci proviennent à la fois des réponses dites « scriptées » (qui incluent à la fois des archives pures, des archives modifiées et des réponses scriptées) et des réponses « générées ». Parfois, les trois réponses sont tirées aléatoirement des deux bases, mais il arrive que les trois proviennent toutes du lot « généré », par exemple. C’est le cas dans la phase peek under de l’expérience où les rouages de la machine vous sont révélés et où CHOM5KY vous invite à voir quelles autres réponses auraient pu être générées. Comme je l’expliquais plus tôt, quand je lui ai demandé quel était son film préféré, CHOM5KY m’a non seulement donné sa réponse, mais aussi les autres réponses qu’il aurait potentiellement pu choisir, ou encore celles qu’il a rejetées en raison d’un trop faible « score de confiance ».

Marianne Bourdages me raconte que les réponses scriptées sont priorisées par le système, qui leur attribue un score élevé (frôlant le 100%). Pour leur part, les réponses générées par le modèle conçu par Moov AI (GPT-2) sont accompagnées d’un score de confiance variable, attribué par le système selon les intentions détectées, les types de mots employés et les « matchs » reconnus par le système. En plus de ces trois réponses, une réponse supplémentaire est générée en direct grâce à un appel fait au modèle GPT-3 d’OpenAI, et ce, à l’aide d’un prompt extrêmement précis. Si le score de confiance des trois réponses originales est jugé trop bas, c’est la réponse OpenAI qui sera proposée au public.

«The following is a conversation between a user and Chom5ky. Chom5ky is an artificial intelligence that was trained on data traces of renowned professor Noam Chomsky. Noam Chomsky is an american linguist, philosopher, cognitive scientist, historical essayist, social critic and political activist. Chomsky is also a major figure in analytic philosophy and one of the founders of the field of cognitive science.

Autrement dit, la formule de CHOM5KY vs CHOMSKY revient au savant mélange des différentes sources desquelles l’IA tire ses réponses.

D’abord, tout simplement parce que le projet a démarré bien avant que ces modèles soient rendus publics.

Google publie une étude sur les modèles transformeurs en 2017. C’est à partir de ce travail qu’OpenAI développe son modèle GPT (pour « generative pre-trained transformer »). En 2022, OpenAI rend l’outil ChatGPT accessible gratuitement au public. Il s’agit d’une interface de clavardage pour accéder à une version du modèle GPT-3. Le projet est lancé le 30 novembre 2022.

Les premières conversations qui ont mené à CH0M5KY vs CHOMSKY tel que nous le connaissons aujourd'hui ont eu lieu en 2016. L'étude est initiée en février 2018 ; la phase de développement, en juillet 2019.

Un premier prototype intitulé Chomsky vs Chomsky: First Encounter est montré à Sundance en 2020. Enfin, une version du projet est lancée à Berlin le 4 novembre 2022, soit près d’un mois avant le lancement de ChatGPT.

Or, cela n’a pas empêché la production d’étudier le modèle GPT-3 qui alimente ChatGPT et même de l’intégrer dans les plus récentes versions de CH0M5KY vs CHOMSKY.

C’est aussi parce que ces modèles — puisqu’ils sont entraînés sur un corpus de tout l’internet et pas seulement sur les traces de Chomsky — sont plus difficiles à aligner avec les visées du projet, soit de proposer une vision d’auteur et d’encourager une réflexion sur notre rapport à l’IA par l’entremise d’une conversation avec une IA. Les outils conversationnels commerciaux auront toujours une réponse, mais cette réponse est-elle cohérente avec la pensée de Chomsky ?

Avantages : L’ampleur des modèles « transformeurs génératifs pré-entraînés » (dont ChatGPT est l’exemple le plus connu) implique qu’une réponse saura toujours être fournie, quelle que soit la question posée par les membres du public. Ainsi, si le « score de confiance » d’une réponse est jugé trop bas en fonction d’un barème prédéterminé, c’est la réponse générée par ChatGPT qui pourra être choisie. 

Désavantages : L’un des plus gros désavantages de cette approche est l’absence de contrôle. Capable de toutes les dérives, ChatGPT court le risque de détourner la conversation. Sandra Rodriguez décrit ces dérives comme des « hallucinations » qui sortent du carcan imposé par la personnalité de Chomsky. Cela mène à un détournement de l’intention de l’œuvre. Spécifiquement, le public risque de chercher les limites de ce genre de réponse (version moderne du test de Turing) plutôt que de discuter de la nature d’une conversation, de l’intelligence, ou de tout

Au final, la solution privilégiée par l’équipe de production revient à trouver un bon équilibre entre les avantages et limitations de chaque outil. Alors que les réponses scriptées permettent de faire avancer le récit aux moments opportuns, les réponses générées à partir du modèle de langage entraîné sur les traces numériques de Noam Chomsky (entrevues, écrits, etc.) apportent un certain degré de réflexivité, notamment dans ces moments où les rouages de la machine sont révélés au public.

Repenser l’innovation

À propos de l’IA – Avec l’IA – À travers l’IA

À un moment crucial de la production, deux visions s’opposent. Est-ce que l’objectif premier devrait être d’offrir une expérience à la fine pointe de la technologie qui laisse le public bouche bée face à l’accomplissement technologique et les réponses de CHOM5KY ? Ou bien faudrait-il plutôt viser à véhiculer un message et un point de vue d’auteur, aux dépens de la nouveauté technologique ?

Au cœur de ce questionnement, on retrouve le choix des outils utilisés pour créer l’expérience, à savoir des modèles d’intelligence artificielle qui évoluent à une vitesse fulgurante. Alors que le travail accompli par Moov AI se fait par l’entremise de GPT-2, les modèles GPT3, 3.5, et plus récemment 4 se succèdent tous avant même que CHOM5KY vs CHOMSKY ne soit lancé à Montréal. Quelques membres de l’équipe de production ont exprimé des regrets face aux ressources et au temps investis dans le développement de certains aspects du projet qui étaient déjà dépassés avant même que l’œuvre ne soit lancée. Plus encore : si le même travail avait à être refait avec les ressources d’aujourd’hui, plusieurs personnes impliquées dans la création de l’expérience estiment que cela prendrait la moitié du temps et de l’investissement. Pourtant, aurait-il été mieux de jeter tout ce travail par la fenêtre pour passer aux outils dernier cri ?

En vérité, la question n’a jamais vraiment été de savoir lequel de ces modèles de langage utiliser, mais bien : comment utiliser ces différents outils pour arriver à porter un propos singulier ? Même s’il avait été possible de faire les choses plus rapidement et pour moins d’argent si tout était à recommencer aujourd’hui, il faut se rendre à l’évidence : les technologies continuent de se développer sans cesse et il est impossible de toujours rester à la page dans le cadre d’une production qui a inévitablement une fin.

Est-ce qu’un projet technologique doit nécessairement être à la fine pointe de la technologie ?

Rappelons qu’en tant qu’expérience immersive et collaborative sur l’intelligence artificielle, l’objectif de CHOM5KY vs CHOMSKY est d’amener une réflexion « à propos de », « avec » et « à travers » l’IA.

Pour Marie-Pier Gauthier, « à travers » décrit le fait que l’IA est utilisée partout dans le projet : génération de réponses, reconnaissance vocale, traduction en temps réel, synthèse de la voix de CHOM5KY, etc. Or, pour moi, « à travers » nomme aussi la symbiose du fond et de la forme qu’on retrouve dans CHOM5KY vs CHOMSKY, ainsi qu’une tendance qu’on retrouve dans plusieurs projets de l’ONF.

En suivant CHOM5KY vs CHOMSKY de près depuis quelques mois, je me souviens d’une conférence à laquelle j’ai assisté en septembre 2020 dans le cadre du MUTEK Forum intitulée « Passer de l’idée au projet interactif à l’ONF », animée par Marie-Pier Gauthier et Louis-Richard Tremblay. Depuis, je garde toujours en tête la formule « cœur — main — tête » qui guide les productions du studio interactif de l’ONF, de même que les questions qu’elles représentent :

• Que fait-on ressentir au public ?
• Que lui fait-on faire ?
• Qu’est-il censé retenir ?

Que ce soit en ma capacité de chercheur, d’enseignant ou de programmateur, je suis convaincu que le défi de tout projet en nouveaux médias revient à comparer les affordances de différents outils et à évaluer ce que chacun apporte à l’expérience.

L’approche « cœur — main — tête » permet justement d’éviter de tomber dans le piège de la technophilie en priorisant plutôt la qualité de l’expérience et du propos.

J’étais ravi de voir cette approche en pleine action dans la production de CHOM5KY vs CHOMSKY, notamment dans les réponses de la production à l’innovation effrénée que subit le monde de l’intelligence artificielle ces dernières années. Plutôt que se laisser tenter par les possibilités des nouvelles tendances en matière d’IA, l’équipe créative derrière CHOM5KY vs CHOMSKY a misé sur un propos recherché.

C’est d’ailleurs ce qui risque d’en assurer la pérennité. En misant sur l’expérience et sur la réflexion qu’elle encourage, CHOM5KY vs CHOMSKY fait le pari de rester d’actualité au niveau de son propos, plutôt qu’au simple niveau technologique ; c’était là le désir de Sandra Rodriguez et des producteurs dès les débuts du projet. Plus spécifiquement, même si l’intelligence artificielle continue de se développer, CHOM5KY vs CHOMSKY continuera d’amener l’auditoire à se questionner sur la nature de sa relation aux êtres humains et aux machines.

Texte : Philippe Bédard, chercheur postdoctoral en réalité virtuelle (Université McGill) et programmateur (FNC Explore)