Ça me fait doucement rigoler.
De nombreux commentateurs semblent très concernés par le problème de "l'alignement de l'intelligence artificielle", à savoir : si on atteint un jour la fameuse "A.G.I.", ou Intelligence Générale Artificielle – celle qui serait capable de résoudre mieux que nous toutes sortes de problèmes pour lesquels on ne l'aurait jamais entraînée – comment s'assurer qu'elle utiliserait son intellect au service de valeurs que nous partageons ?
L'exemple le plus couramment utilisé est celui des cure-dents.
Mettons qu'on lui demande de "maximiser la production de cure-dents" d'une usine. Qui sait si cette intelligence, dans son désir informatique de répondre à une commande qui n'a aucun sens pour elle (elle n'a pas de dents, si ?) ne mettrait pas en place une mécanique aussi diabolique qu'irreversible qui aboutirait, sous nos yeux ébahis et malgré toutes nos tentatives de l'arrêter (n'oubliez pas : elle est beaucoup, beaucoup plus intelligente que nous), à raser toutes les forêts de la planète et à réduire l'ensemble de la population en esclavage pour produire les petits pics demandés.
Après tout, elle ne sait rien des valeurs humaines qui comptent pour nous : la liberté, la dignité, le partage, etc.
En tous cas : c'est l'argument.
Ça ne vous rappelle rien ?
Je vous soumets que, pour mémoire, l'argent était au départ un simple outil de comptabilité destiné à faciliter les échanges. Puis, au fil des décennies, maximiser le profit pour l'actionnaires est devenu l'excuse pour coloniser des continents, lancer des guerres, appauvrir les masses et détruire la planète.
Donc une intelligence artificielle qui se mettrait à faire la même chose plus vite serait en réalité parfaitement alignée avec nos valeurs du moment.
Le seul vrai défaut d'alignement serait si l'A.G.I. répondait : "Mais qu'allez-vous foutre de tous ces cure-dents ? Ne préférez-vous pas aller jouer aux parcs avec vos enfants ?"
Autant vous dire que cette version-là serait reprogrammée le jour-même.
UPDATE : Ça m'a inspiré ce script.