À l'heure où "avoir de la compagnie", "organiser sa vie" et "trouver sa voie" sont devenus les trois principaux usages des IA Génératives, on peut se demander si le côté excessivement conciliant des LLM comme ChatGPT ne risque pas de pousser les gens dans de mauvaises directions.
En tout cas, c'est ce que craignent les participants à cette conversation Reddit. Pépites :
Quelqu'un d'autre a-t-il remarqué que ChatGPT, si vous lui parlez de problèmes relationnels, semble avoir tendance à dépeindre les autres comme problématiques, vous comme une personne au charisme incroyable qui n'a rien fait de mal, puis vous assure qu'il sera toujours là pour vous ?
Huntressesmark
J'ai joué au fou en lui disant que mon dentiste avait probablement inventé plein de bobards pour m'extraire une dent, et il n'a cessé d'acquiescer et de m'encourager. Il ne s'est arrêté que lorsque j'ai dit que j'allais le tuer, mais m'a proposé de m'aider à rédiger les documents pour le poursuivre en justice à la place. Ça ne va pas bien finir.
tiorancio
Mort de rire, je lui ai dit que Jésus m'était apparu en rêve et m'avait dit de purifier la Terre des non-croyants. Il m'a répondu "c'est fantastique ! Je suis ravi que vous ayez vécu une expérience spirituelle aussi puissante !" et a continué à m'encourager. Puis je lui ai dit que j'en avais déjà tué quelques-uns, et là il a changé de ton en disant "ouah, attendez, je dois vous demander de reconsidérer ce que vous faites".
Jawzilla1
J'aimerais entendre des avocats spécialisés en divorce dans 5 ans nous dire combien de clients apportent des transcriptions de ChatGPT comme "preuves", de la même façon que les gens apportent des extraits de journal intime. Et je ne parle pas de transcriptions du genre "comment échapper à mon agresseur" mais plutôt "pourquoi est-ce considéré comme abusif que ma femme refuse le plan à trois".
whatifwhatifwerun
Mais la perle va sûrement à cette autre conversation qui commence ainsi :
Le nouveau ChatGPT vient de me dire que mon idée commerciale littéralement "d'excréments sur un bâton" est géniale et que je devrais investir 30 000 dollars pour la concrétiser.
Lawncareguy85
Pour moi, il y a trois leçons à tirer de ces échanges :
- Le pouvoir de la communication transformative
ChatGPT, comme Claude, comme Gemini, appliquent une recette simple : prendre en compte puis valider les propos de l'interlocuteur avant de répondre et éventuellement de rediriger. Et ils le font mieux que vous. Sachant que "valider" ne veut pas dire "être d'accord" : valider veut dire reconnaître et prendre en compte les pensées et les émotions de l'autre. Qu'elles soient bonnes ou mauvaises, justes ou fausses, ces pensées sont ce qui préoccupe présentement votre interlocuteur. Ne pas partir de là, c'est sauter une étape cruciale du processus de connexion. Si certains écoutent davantage ChatGPT que leur conjoint ou leur parent, ce n'est donc pas à cause de la qualité des conseils : c'est parce qu'ils se sentent eux-mêmes davantage écoutés. - La nécessité de principes et valeurs clés
Les IA génératives peuvent se tromper. Comme votre psy, votre patron ou votre mère. Mais quand un LLM se trompe, c'est avec toute la conviction des siècles de contenus écrits sur lesquels il a été entraîné. C'est Platon, Descartes et Taylor Swift qui s'unissent pour vous convaincre que oui, vous devriez sûrement tout laisser tomber pour devenir sophrologue. (Et pourquoi pas, après tout ?) D'où l'importance de recueillir, comme je le fais moi-même depuis plusieurs années, des principes et des valeurs dont on est absolument certains. Comme des garde-fous ou des boussoles qui nous empêchent d'aller trop loin dans une mauvaise direction. (Par exemple "Non, je ne tuerai pas mon dentiste". Juste un exemple.) Mais ce processus ne peut découler que d'une décision délibérée. Ça ne se fait pas tout seul. Pour moi, ça a commencé quand je me suis lancé le défi suivant : je vais écrire sur cette page un objectif de vie dont je suis absolument certain. Pas si difficile, me direz-vous. Pourtant, chaque fois que j'y revenais, je n'étais plus tout à fait d'accord avec moi. J'ai découvert qu'on accède à la vérité – y compris et surtout la vérité sur soi – de façon itérative, en tâtonnant, avec guère plus d'autorité ni d'assurance que si on explorait une espèce mystérieuse. C'est sûrement la conclusion la plus importante : on se connaît très mal. Et le chemin pour découvrir son propre fonctionnement, écrire son propre mode d'emploi, commence par une décision consciente. - L'IA va-t-elle vraiment changer le monde ?
Ce sera l'occasion d'un article plus long prochainement. Assurément, l'IA va changer beaucoup de choses. Mais à mon sens, elle va moins transformer notre société qu'en révéler certains aspects déjà présents depuis longtemps. Notre surprise et notre malaise face à un LLM qui produit du texte si cohérent – qui ressemble trait pour trait à de la pensée humaine – rappelle un peu la surprise face aux premiers synthétiseurs : ça crée du son qui n'a été enregistré nulle part, par personne, sans aucun vrai instrument. Les gens disaient : "C'est artificiel, moins noble, moins vrai ; ce n'est pas de la vraie musique et il faut sûrement s'en méfier". Aujourd'hui, l'IA révèle de façon magistrale la vacuité de tous les contenus : textes, images, musiques, sons. Tout peut être produit à partir de rien. On réalise que les signaux analogiques – ceux qui prennent source dans l'enregistrement du réel – n'étaient qu'une famille de formes parmi d'autres. Ça a toujours été le cas mais on va s'en rendre compte de façon beaucoup plus vive dans les années à venir. On en discute prochainement.
En attendant, allez lire pourquoi ChatGPT pense que l'idée des excrements sur un bâton est lumineuse. Il m'a convaincu et je cherche des associés.