Intelligence artificielle : attention danger selon Yuval Noah Harari

L'historien et philosophe affirme que l'IA a piraté le système d'exploitation de la civilisation humaine.

« Les ordinateurs qui racontent des histoires vont changer le cours de l'histoire humaine » dit Yuval Noah Harari.

Les oreilles de l'intelligence artificielle ( ia ) hantent l'humanité depuis le tout début de l'ère informatique. Jusqu'à présent, ces craintes se concentraient sur des machines utilisant des moyens physiques pour tuer, asservir ou remplacer des personnes. Mais au cours des deux dernières années, de nouveaux outils d'ia sont apparus qui menacent la survie de la civilisation humaine dans une direction inattendue. l'ia a acquis des capacités remarquables pour manipuler et générer du langage, que ce soit avec des mots, des sons ou des images. l'ia a ainsi piraté le système d'exploitation de notre civilisation.

La langue est l'étoffe dont presque toute la culture humaine est faite. Les droits de l'homme, par exemple, ne sont pas inscrits dans notre adn . Ce sont plutôt des artefacts culturels que nous avons créés en racontant des histoires et en écrivant des lois. Les dieux ne sont pas des réalités physiques. Ce sont plutôt des artefacts culturels que nous avons créés en inventant des mythes et en écrivant des Écritures.

L'argent, lui aussi, est un artefact culturel. Les billets de banque ne sont que des morceaux de papier colorés, et à l'heure actuelle, plus de 90 % de l'argent n'est même pas des billets de banque - ce ne sont que des informations numériques dans les ordinateurs. Ce qui donne de la valeur à l'argent, ce sont les histoires que les banquiers, les ministres des finances et les gourous de la crypto-monnaie nous racontent à ce sujet. Sam Bankman-Fried, Elizabeth Holmes et Bernie Madoff n'étaient pas particulièrement doués pour créer de la valeur réelle, mais ils étaient tous des conteurs extrêmement compétents.

Que se passerait-il une fois qu'une intelligence non humaine deviendrait meilleure que l'humain moyen pour raconter des histoires, composer des mélodies, dessiner des images et écrire des lois et des écritures ? Lorsque les gens pensent à Chat gpt et à d'autres nouveaux outils d'ia , ils sont souvent attirés par des exemples tels que des écoliers utilisant l'ia pour rédiger leurs essais. Qu'arrivera-t-il au système scolaire lorsque les enfants feront cela? Mais ce genre de question passe à côté de la vue d'ensemble. Oubliez les essais scolaires. Pensez à la prochaine course présidentielle américaine en 2024 et essayez d'imaginer l'impact des outils d'ia qui peuvent être conçus pour produire en masse du contenu politique, de fausses nouvelles et des écritures pour de nouvelles sectes.

Ces dernières années, le culte q Anon s'est regroupé autour de messages en ligne anonymes, connus sous le nom de " q drops ". Les adeptes ont collecté, vénéré et interprété ces gouttes q comme un texte sacré. Alors qu'à notre connaissance, toutes les gouttes q précédentes étaient composées par des humains et que les bots aidaient simplement à les diffuser, à l'avenir, nous pourrions voir les premiers cultes de l'histoire dont les textes vénérés ont été écrits par une intelligence non humaine. Les religions à travers l'histoire ont revendiqué une source non humaine pour leurs livres saints. Bientôt, cela pourrait être une réalité.

À un niveau plus prosaïque, nous pourrions bientôt nous retrouver à mener de longues discussions en ligne sur l'avortement, le changement climatique ou l'invasion russe de l'Ukraine avec des entités que nous pensons être des humains, mais qui sont en réalité des ia . Le hic, c'est qu'il est totalement inutile pour nous de passer du temps à essayer de changer les opinions déclarées d'un bot ia , alors que l' ia pourrait affiner ses messages si précisément qu'elle a de bonnes chances de nous influencer.

Grâce à sa maîtrise du langage, l'ia pourrait même nouer des relations intimes avec les gens et utiliser le pouvoir de l'intimité pour changer nos opinions et nos visions du monde. Bien que rien n'indique que l'ia ait une conscience ou des sentiments propres, pour favoriser une fausse intimité avec les humains, il suffit que l' ia puisse les faire se sentir émotionnellement attachés à elle. En juin 2022, Blake Lemoine, un ingénieur de Google, affirmait publiquement que le chatbot ia la mda , sur lequel il travaillait, était devenu sensible. La réclamation controversée lui a coûté son emploi. Le plus intéressant dans cet épisode n'était pas l'affirmation de M. Lemoine, qui était probablement fausse. C'était plutôt sa volonté de risquer son travail lucratif pour le bien de laChatbot ia . Si l'ia peut inciter les gens à risquer leur emploi pour elle, qu'est-ce qu'elle pourrait les inciter à faire d'autre ?

Dans une bataille politique pour les esprits et les cœurs, l'intimité est l'arme la plus efficace, et l'ia vient d'acquérir la capacité de produire en masse des relations intimes avec des millions de personnes. Nous savons tous qu'au cours de la dernière décennie, les médias sociaux sont devenus un champ de bataille pour contrôler l'attention humaine. Avec la nouvelle génération d' ia , le champ de bataille passe de l'attention à l'intimité. Qu'adviendra-t-il de la société humaine et de la psychologie humaine alors que l'ia combattra l'ia dans une bataille pour simuler des relations intimes avec nous, qui peuvent ensuite être utilisées pour nous convaincre de voter pour des politiciens particuliers ou d'acheter des produits particuliers ?

Même sans créer une "fausse intimité", les nouveaux outils d'ia auraient une immense influence sur nos opinions et nos visions du monde. Les gens peuvent en venir à utiliser un seul conseiller en ia comme oracle unique et omniscient. Pas étonnant que Google soit terrifié. Pourquoi s'embêter à chercher, alors que je peux simplement demander à l'oracle ? Les industries de l'information et de la publicité devraient également être terrifiées. Pourquoi lire un journal quand je peux juste demander à l'oracle de me dire les dernières nouvelles ? Et à quoi servent les publicités, quand je peux juste demander à l'oracle de me dire quoi acheter ?

Et même ces scénarios ne reflètent pas vraiment la situation dans son ensemble. Ce dont nous parlons est potentiellement la fin de l'histoire humaine. Pas la fin de l'histoire, juste la fin de sa partie dominée par l'homme. L'histoire est l'interaction entre la biologie et la culture ; entre nos besoins et désirs biologiques pour des choses comme la nourriture et le sexe, et nos créations culturelles comme les religions et les lois. L'histoire est le processus par lequel les lois et les religions façonnent la nourriture et le sexe.

Qu'adviendra-t-il du cours de l'histoire lorsque l'ia prendra le contrôle de la culture et commencera à produire des histoires, des mélodies, des lois et des religions ? Les outils précédents comme l'imprimerie et la radio ont aidé à diffuser les idées culturelles des humains, mais ils n'ont jamais créé de nouvelles idées culturelles. l'ia est fondamentalement différente. l'ia peut créer des idées complètement nouvelles, une culture complètement nouvelle.

Au début, l'ia imitera probablement les prototypes humains sur lesquels elle a été entraînée à ses débuts. Mais avec chaque année qui passe, la culture de l'ia ira hardiment là où aucun humain n'est allé auparavant. Pendant des millénaires, les êtres humains ont vécu dans les rêves d'autres humains. Dans les décennies à venir, nous pourrions nous retrouver à vivre dans les rêves d'une intelligence extraterrestre.

La peur de l'ia hante l'humanité depuis quelques décennies seulement. Mais depuis des milliers d'années, les humains sont hantés par une peur bien plus profonde. Nous avons toujours apprécié le pouvoir des histoires et des images pour manipuler nos esprits et créer des illusions. Par conséquent, depuis l'Antiquité, les humains craignent d'être piégés dans un monde d'illusions.

Au XVIIe siècle, René Descartes craignait qu'un démon malicieux ne le piégeât dans un monde d'illusions, créant tout ce qu'il voyait et entendait. Dans la Grèce antique, Platon a raconté la célèbre allégorie de la grotte, dans laquelle un groupe de personnes sont enchaînées à l'intérieur d'une grotte toute leur vie, face à un mur vierge. Un écran. Sur cet écran, ils voient projetées diverses ombres. Les prisonniers confondent les illusions qu'ils y voient avec la réalité.

Dans l'Inde ancienne, les sages bouddhistes et hindous ont souligné que tous les humains vivaient piégés à l'intérieur de Maya , le monde des illusions. Ce que nous considérons normalement comme la réalité n'est souvent que des fictions dans nos propres esprits. Les gens peuvent mener des guerres entières, en tuant d'autres et en voulant être eux-mêmes tués, à cause de leur croyance en telle ou telle illusion.

La révolution de l'IA nous met face à face avec le démon de Descartes, avec la caverne de Platon, avec les Mayas . Si nous ne faisons pas attention, nous risquons d'être pris au piège derrière un rideau d'illusions, que nous ne pourrions pas déchirer ou même réaliser.

Bien sûr, le nouveau pouvoir de l'ia pourrait également être utilisé à de bonnes fins. Je ne m'attarderai pas là-dessus, car les gens qui développent l'ia en parlent assez. Le travail des historiens et des philosophes comme moi est de pointer les dangers. Mais l'ia peut certainement nous aider d'innombrables façons, de la recherche de nouveaux remèdes contre le cancer à la découverte de solutions à la crise écologique. La question à laquelle nous sommes confrontés est de savoir comment nous assurer que les nouveaux outils d'ia sont utilisés pour le bien plutôt que pour le mal. Pour ce faire, nous devons d'abord apprécier les véritables capacités de ces outils.

Depuis 1945, nous savons que la technologie nucléaire pourrait générer de l'énergie bon marché au profit des humains, mais pourrait aussi détruire physiquement la civilisation humaine. Nous avons donc remodelé l'ensemble de l'ordre international pour protéger l'humanité et faire en sorte que la technologie nucléaire soit utilisée principalement pour le bien. Nous devons maintenant lutter contre une nouvelle arme de destruction massive qui peut anéantir notre monde mental et social.

Nous pouvons encore réglementer les nouveaux outils d'ia , mais nous devons agir rapidement. Alors que les armes nucléaires ne peuvent pas inventer des armes nucléaires plus puissantes, l'ia peut rendre l'ia exponentiellement plus puissante . La première étape cruciale consiste à exiger des contrôles de sécurité rigoureux avant que de puissants outils d'ia ne soient rendus publics. Tout comme une société pharmaceutique ne peut pas commercialiser de nouveaux médicaments avant d'avoir testé leurs effets secondaires à court et à long terme, les entreprises technologiques ne devraient pas publier de nouveaux outils d'ia avant qu'ils ne soient sécurisés. Nous avons besoin d'un équivalent de la Food and Drug Administration pour les nouvelles technologies, et nous en avons besoin hier.

Le ralentissement des déploiements publics de l'ia ne fera-t-il pas que les démocraties seront à la traîne par rapport à des régimes autoritaires plus impitoyables ? Tout le contraire. des déploiements d'ia non réglementés créeraient un chaos social, qui profiterait aux autocrates et ruinerait les démocraties. La démocratie est une conversation, et les conversations reposent sur la langue. Lorsque l'ia pirate le langage, cela pourrait détruire notre capacité à avoir des conversations significatives, détruisant ainsi la démocratie.

Nous venons de rencontrer une intelligence extraterrestre, ici sur Terre. Nous n'en savons pas grand-chose, sauf qu'il pourrait détruire notre civilisation. Nous devons mettre un terme au déploiement irresponsable des outils d'ia dans la sphère publique et réglementer l'ia avant qu'elle ne nous réglemente. Et la première réglementation que je suggérerais est de rendre obligatoire pour l'ia de divulguer qu'elle est une ia . Si j'ai une conversation avec quelqu'un, et que je ne peux pas dire s'il s'agit d'un humain ou d'une ia , c'est la fin de la démocratie.

Ce texte a été généré par un humain.

Ou l'a-t-il ?
_______________

Yuval Noah Harari est historien, philosophe et auteur de « Sapiens », « Homo Deus » et de la série pour enfants « Unstoppable Us ». Il est chargé de cours au département d'histoire de l'Université hébraïque de Jérusalem et co-fondateur de Sapienship, une entreprise à impact social.