© Domaine publicUne séance de thérapie simulée avec ELIZA, le programme informatique des années 1960 qui ouvrit la voie à la technologie des chatbots - et révéla avec quelle facilité les êtres humains projettent du sens sur les machines.
Bien avant ChatGPT et l'essor fulgurant de l'intelligence artificielle conversationnelle, un scientifique visionnaire avait déjà perçu les dangers d'une humanité fascinée par ses propres machines. En créant ELIZA dans les années 1960, Joseph Weizenbaum donna naissance au tout premier chatbot de l'histoire - avant de devenir l'un des critiques les plus lucides de l'intelligence artificielle.
- Utilisateur : Les hommes sont tous les mêmes.
- Chatbot : En quel sens ?
- Utilisateur : Ils nous embêtent toujours pour une chose ou une autre.
- Chatbot : Pouvez-vous penser à un exemple précis ?
- Utilisateur : Eh bien, mon petit ami m'a forcée à venir ici.
- Chatbot : Votre petit ami vous a forcée à venir ici ?
- Utilisateur : Il dit que je suis déprimée la plupart du temps.
- Chatbot : Je suis désolé d'apprendre que vous êtes déprimée.
Mais l'ironie de l'histoire d'ELIZA réside dans le fait que son programmeur - tout comme le Dr Frankenstein de Mary Shelley - a rapidement pris conscience du danger que recelait sa création, et qu'il a consacré une grande partie du reste de sa carrière à mettre en garde contre l'intelligence artificielle (IA). Il a également vivement critiqué la vision technologique et posthumaine défendue par certains pionniers de la science de l'IA.
Le programmeur s'appelait Joseph Weizenbaum (1923-2008). Ce scientifique allemand, qui avait fui l'Allemagne nazie dans sa jeunesse, fut une figure marquante des débuts de la communauté de l'intelligence artificielle - un homme qui allait pourtant devenir l'un de ses plus grands détracteurs.
La naissance d'ELIZA
Weizenbaum a publié la transcription ci-dessus dans un article de revue datant de 1966, dans lequel il expliquait le fonctionnement d'ELIZA. En substance, ELIZA imitait essentiellement le style de psychothérapie rogérienne, dans lequel c'est le patient qui mène la conversation. Le thérapeute intervient en posant des questions ou en faisant de simples remarques afin d'inciter le patient à approfondir sa réflexion. Ce modèle était idéal pour un chatbot rudimentaire qui devait être capable de simuler une conversation, mais qui n'avait pas la sophistication nécessaire pour générer beaucoup de texte original.
ELIZA analysait les messages des utilisateurs à la recherche de certains mots-clés, tels que « je », « tu » ou « mère ». Ces mots déclenchaient une règle associée qui générait une phrase ou une question en réponse, souvent en insérant certains des mots de l'utilisateur dans un modèle de réponse. Cela donnait l'impression que le bot répondait réellement au contenu de la déclaration de l'utilisateur. Si l'utilisateur écrivait « Je suis triste », la machine pouvait répondre : « Depuis combien de temps es-tu triste ? » La signification du mot « triste » n'avait aucune importance. Le chatbot se contentait de copier le mot tel qu'il figurait dans la saisie de l'utilisateur. Cela fonctionnait tout aussi bien avec « déprimé », « heureux », « en colère » ou tout autre adjectif. Si ELIZA ne détectait aucun mot-clé dans la déclaration d'un utilisateur, elle générait alors une réponse générique, telle que « Je vois » ou « Continuez, s'il vous plaît ».
L'illusion était convaincante. Dans son article publié en 1966, Weizenbaum notait que certains sujets étaient « très difficiles à convaincre » qu'ELIZA n'était pas humaine. En effet, lorsque Weizenbaum demanda à sa secrétaire de tester le système, celle-ci lui demanda de quitter la pièce afin qu'elle puisse poursuivre sa conversation avec le « thérapeute » en privé. Weizenbaum était tombé par hasard sur un phénomène qui allait être appelé « l'effet ELIZA » : notre tendance à projeter des qualités humaines sur des machines inanimées.
L'homme face à la machine
Weizenbaum s'était rendu compte que la tentation d'attribuer une humanité ou une personnalité à ELIZA - et à d'autres machines - ne concernait pas uniquement sa secrétaire. Il s'est sérieusement inquiété lorsque certains psychiatres ont proclamé haut et fort qu'ELIZA (ou une variante de celle-ci) pourrait en réalité s'avérer utile à des fins thérapeutiques.
Weizenbaum était consterné à l'idée que quiconque puisse confier à ce jouet de véritables problèmes de santé mentale. Sa connaissance intime du fonctionnement aveugle et algorithmique d'ELIZA lui faisait clairement comprendre qu'elle ne devait pas être traitée comme un véritable thérapeute. C'était un système aussi inerte et inconscient qu'une calculatrice de poche, et il n'avait rien à dire sur la vie humaine. Il considérait cette idée comme « obscène ».
La révélation déconcertante de l'effet ELIZA a commencé à troubler Weizenbaum, l'amenant à repenser le cadre régissant la relation entre l'homme et la technologie. Une interview réalisée en 1998 a mis en lumière la profondeur et la perspicacité de la pensée de Weizenbaum. Elle a exposé sa critique de la vision mécaniste de l'univers qui, selon lui, sous-tendait la tentative de remplacer les êtres humains par des machines.
« Ces auteurs [partisans de l'IA], entre autres, véhiculent une image extrêmement dangereuse de l'homme à l'aube du nouveau millénaire », a-t-il déclaré au journaliste Bernhard Pörksen lors de l'entretien.
« Elle repose sur l'idée que l'homme est une machine qui peut - en principe et dans un avenir proche - être comprise et décodée afin d'être corrigée et améliorée. Le dogme central de cette conception de l'homme est l'idée que chaque aspect de la vie est calculable, c'est-à-dire qu'il peut être décomposé en processus calculables et formalisables. »
© CC BY-NC 2.0Les pionniers de l’intelligence artificielle Claude Shannon, John McCarthy, Ed Fredkin et Joseph Weizenbaum (à dr.). Tandis que certains repoussaient les frontières de l’intelligence des machines, Weizenbaum devint par la suite l’un de ses critiques les plus virulents.
Dans cette interview, Weizenbaum s'en est pris à la théorie naissante du transhumanisme, affirmant qu'elle reposait sur une conception fondamentalement erronée de la nature humaine et de la réalité dans son ensemble.
Les passionnés d'IA rêvaient d'un « meilleur modèle » de l'être humain, d'une « humanité 2.0 », qui constituerait un bond évolutif facilité vers un plan supérieur, même si cela devait rendre l'humanité 1.0 obsolète. Weizenbaum craignait que ces penseurs et scientifiques ne soient prêts, animés par une sorte d'instinct quasi-religieux, à sacrifier l'homme d'aujourd'hui sur l'autel de l'homme du futur. Il est d'ailleurs allé jusqu'à qualifier la science matérialiste de « religion mondiale dominante aujourd'hui ».
En rabaissant l'humanité au rang de machine et en élevant la machine au rang de dieu, Weizenbaum craignait que les partisans de l'IA ne déshumanisent les gens. Il a comparé cette situation à la rhétorique nazie pendant la Seconde Guerre mondiale.
Il a expliqué : « Je pense que le point commun fondamental entre le national-socialisme et les idées de [le théoricien de l'IA] Hans Moravec réside dans la dévalorisation de l'être humain et dans le fantasme d'un homme nouveau parfait qu'il faut créer à tout prix. »
Une menace pour l'humanité
Weizenbaum parlait en connaissance de cause : sa famille avait fui l'Allemagne nazie pour les États-Unis en 1935 après avoir été témoin de l'ascension du régime hitlérien.
Pourtant, le culte des machines et de la technologie pourrait s'avérer encore plus cataclysmique que l'idéologie toxique du nazisme, car il ne visait pas une race en particulier, mais l'humanité tout entière. À l'issue de cette quête effrénée de l'être humain parfait, Weizenbaum a fait remarquer que « l'homme n'est tout simplement plus là ».
Weizenbaum aurait sans doute souscrit à cette réflexion de C.S. Lewis : « La nature humaine sera la dernière partie de la Nature à se soumettre à l'Homme. [...] La bataille sera certes remportée. Mais qui, exactement, l'aura remportée ? [...] La conquête ultime de l'Homme s'est avérée être l'abolition de l'Homme. »
Pour Weizenbaum, une fausse image de l'être humain était plus dangereuse que n'importe quelle arme humaine. Elle était souvent le motif qui poussait à recourir aux armes ; elle n'était pas l'épée elle-même, mais le bras qui la brandissait. Il voyait un grave danger dans l'amalgame entre l'homme et la machine. Les mettre sur un pied d'égalité revenait à ignorer la dignité humaine et le respect de la vie, transformant les corps humains en simples « machines de chair ».
Il a expliqué : « L'histoire de ce siècle, peut-être le plus brutal de tous, nous enseigne à quel point l'image de l'homme a joué un rôle déterminant dans les crimes du passé, en nous rappelant que les crimes les plus atroces ont été rendus possibles parce que leurs auteurs ont nié l'humanité des victimes. »
Les détracteurs de Weizenbaum fondaient leur espoir de transcender la nature humaine grâce à l'intelligence artificielle sur l'hypothèse selon laquelle l'humanité, le comportement humain et l'expérience humaine finiraient par être entièrement quantifiés, compris et élucidés - et donc reproduits et améliorés. Weizenbaum, quant à lui, affirmait avec force qu'un être humain et l'univers dans lequel il évolue ne seront jamais entièrement explicables ni « piratables ».
« Le monde regorge de mystères, et le credo du milieu de l'IA, selon lequel tout est calculable, nie le mystère de la vie », a-t-il déclaré. « Cela crée l'illusion d'une transparence totale et laisse entendre que tous les aspects de notre existence peuvent être élucidés. »
Même si, à l'époque, son avertissement semblait à beaucoup n'être que les craintes rétrogrades d'un vieux grincheux sclérosé et déconnecté de la réalité, il prend aujourd'hui une importance croissante.
© Alex Knight/PexelsÀ mesure que les machines gagnaient en sophistication, Joseph Weizenbaum avertissait que le véritable danger ne résidait pas seulement dans leur puissance, mais dans la manière dont les êtres humains finiraient par se percevoir eux-mêmes face à elles.
Au cours des décennies qui ont suivi la création d'ELIZA, et en particulier après la publication en 1976 de son ouvrage Computer Power and Human Reason: From Judgment to Calculation, la farouche opposition de Weizenbaum à l'intelligence artificielle fit de lui une sorte de paria du monde universitaire et scientifique.
« Il y a certaines tâches que l'on ne devrait pas confier aux ordinateurs, qu'ils soient capables ou non de les accomplir », écrit-il dans son livre.Weizenbaum s'est ouvertement opposé aux idées de John McCarthy et Marvin Minsky, deux des organisateurs de l'atelier de Dartmouth de 1956, qui a marqué la naissance de la recherche en IA. McCarthy et Minsky sont tous deux devenus des pionniers de la recherche en IA, qui était financée, à ses débuts, par l'armée américaine. McCarthy a fustigé le livre de Weizenbaum, le qualifiant de « moralisateur et incohérent », et lui et ses collègues ont poursuivi leurs travaux.
L'avertissement de Weizenbaum est resté largement lettre morte.
Nous en sommes aujourd'hui à un stade où la sophistication de nos chatbots dépasse de loin celle d'ELIZA, ce qui nous rend plus enclins à tomber dans le piège de considérer ces machines comme nos égaux en tant que personnes. Nous avons vu des gens affirmer que les chatbots étaient doués de sensibilité, nous les avons vus tomber amoureux de chatbots, et nous avons même vu des personnes se laisser convaincre par des chatbots de se suicider.
De tels développements attristeraient sans doute le scientifique allemand. La fille de Weizenbaum, Miriam, a déclaré au Smithsonian Magazine que son père « aurait pris conscience de la tragédie que représente le fait que les gens s'attachent littéralement à des suites de zéros et de uns, à du simple code informatique ».
© we.bond.creations/ShutterstockPour Joseph Weizenbaum, les liens humains – la conversation, l’empathie, l’expérience partagée – possédaient une profondeur qu’aucun algorithme ne pourrait jamais reproduire.
Ce qui échappe aux algorithmes
Homme introspectif, mélancolique et autocritique, mais doté d'une conviction inébranlable et d'une intuition mystique, Weizenbaum percevait la merveille et le mystère du monde avec une certitude plus forte que n'importe quelle preuve mathématique. Il existe quelque chose de plus que les zéros et les uns, quelque chose qui dépasse les engrenages, les rouages et les atomes.Il y a en nous et dans nos expériences quelque chose qui échappera à jamais à la prévision, à l'automatisation et au calcul.
Weizenbaum était particulièrement sensible à ces dimensions invisibles de l'existence. Il confiait à Pörksen :
« Il y a l'expérience du chagrin et du choc, il y a la joie soudaine du matin, et il y a l'expérience de l'amour entre les êtres humains. Eh bien, un miracle reste un miracle. On ne peut pas le décrire. Il faudrait être artiste pour s'en approcher. »Dans Computer Power and Human Reason, il évoque également un souvenir intime :
« Lorsque mes enfants étaient encore petits, il m'arrivait de rester penché avec ma femme au-dessus de leur lit pendant qu'ils dormaient. Nous nous parlions sans prononcer un mot ; c'était la répétition d'une scène aussi ancienne que l'humanité elle-même. »Quelque chose, dans cet instant, transcendait le langage lui-même - et plus encore les algorithmes. « Je crois effectivement qu'il existe une vérité vivante et indicible qui ne peut être réduite aux mots. »
Cette dimension spirituelle fit de Weizenbaum un visionnaire pour certains, un objet de moquerie pour d'autres. Pourtant, nul besoin de partager toutes ses intuitions métaphysiques pour reconnaître la pertinence de ses préoccupations.
Car malgré toute leur prouesse technique, les intelligences artificielles demeurent moralement inertes. Elles sont dépourvues de conscience morale, cette voix intérieure que chaque être humain éprouve. C'est pourquoi elles ne devraient jamais être placées dans des situations exigeant un véritable jugement éthique.
Comme l'écrivait Weizenbaum lui-même :
« La conclusion la plus élémentaire est la suivante : puisque nous ne savons pas rendre les ordinateurs sages, nous ne devrions pas leur confier des tâches qui exigent de la sagesse. »Une réflexion qu'il serait sans doute prudent de méditer sérieusement à notre époque.
Commentaires des Lecteurs
Lettre d'Information