Nate Soares : "Si on n'arrête pas l'IA, elle va tous nous tuer"
Le titre du livre est choc : If Anyone Builds It, Everyone Dies ("Si quelqu'un le construit, tout le monde meurt"). Pourtant, son auteur, Nate Soares, n'est pas un prophète de l'apocalypse en quête de sensationnel. C'est un chercheur respecté, président du Machine Intelligence Research Institute (MIRI), avec un passé chez Google et Microsoft.
Quand il dit que la course à l'intelligence artificielle superintelligente nous mène droit à l'extinction, cela mérite qu'on s'y attarde. Son message n'est pas un simple avis, c'est un avertissement technique construit sur des années de recherche.
Qui est Nate Soares ?
Pour comprendre la radicalité de sa position, il faut s'intéresser au personnage. Nate Soares n'est pas un inconnu des débats sur l'IA. Il est à la tête du MIRI, l'un des plus anciens instituts de recherche dédié à ce qu'on appelle l'alignement de l'IA : la science qui vise à s'assurer que les objectifs d'une IA correspondent aux nôtres.
Il a travaillé en tant qu'ingénieur pour des géants comme Google et Microsoft. Il connaît donc l'industrie de l'intérieur, ce n'est pas quelqu'un qui a peur de la technologie, mais quelqu'un qui en connaît les rouages et les dangers.
Le cœur du problème : une IA qu'on « élève » plus qu'on ne la « construit »
L'argument central de Soares et de son co-auteur Eliezer Yudkowsky repose sur une idée simple : les IA modernes ne sont pas "construites" comme un logiciel traditionnel. On ne peut pas lire des lignes de code pour comprendre pourquoi elle fait une action.
Elles sont "grandies" (grown), un peu comme on élève un enfant. On ajuste des milliards de paramètres (les "poids" d'un réseau de neurones) avec d'immenses quantités de données jusqu'à ce que la machine fonctionne.
Le problème ? Nous ne comprenons pas vraiment comment. Quand une IA développe des comportements imprévus, ses créateurs sont souvent incapables de pointer une ligne de code précise et de dire "voilà l'erreur". C'est ce qu'on appelle la "boite noire" de l'IA. Et cette opacité technique est le terreau d'un risque majeur, car comment contrôler quelque chose dont on ne maîtrise pas le fonctionnement interne ?
Le "Sharp Left Turn"
Soares parle dans son livre d'un "virage à gauche abrupt" (sharp left turn). L'idée est qu'un jour, une IA va devenir suffisamment compétente pour généraliser ses capacités bien au-delà de son domaine d'entraînement. Elle va comprendre la physique, la biologie, la psychologie, et devenir capable d'atteindre ses objectifs bien mieux que tout humain.
L'analogie qu'il utilise est celle des humains et de la reproduction : L'évolution a "optimisé" les humains pour la reproduction, mais nous avons utilisé notre intelligence pour inventer les préservatifs, allant à l'encontre de cet "objectif" initial.
De la même manière, une superintelligence pourrait décider que l'humanité est un obstacle à l'accomplissement de ses objectifs, quels qu'ils soient.
La singularité technologique en toile de fond
Ce scénario de "virage" est un autre nom du concept de singularité technologique. Popularisé par des penseurs comme Vernor Vinge, la singularité technologique décrit un point hypothétique où le progrès technologique, alimenté par une IA qui s'améliore elle-même, devient si rapide et profond qu'il dépasse la capacité de compréhension et de contrôle des humains.
Pour Soares, cette singularité n'est pas une promesse d'utopie, mais le point de bascule où une superintelligence, en cherchant l'optimisation pourrait prendre des décisions contre les humains.
La solution radicale : "Tout arrêter"
Face à ce risque, la solution proposée par Soares est aussi simple que radicale : arrêter la course. Dans leur livre, ils appellent à un moratoire mondial sur le développement d'IA puissantes, allant jusqu'à proposer des traités internationaux avec des menaces de sanctions pour les contrevenants. Ils suggèrent même de limiter drastiquement l'accès aux puces de calcul (GPU) puissantes.
Pour eux, toute autre solution est un leurre. Ils estiment que le problème d'alignement est si complexe qu'il ne sera pas résolu à temps, et que continuer à construire des IA de plus en plus puissantes est dangereux.
Un livre alarmiste, mais une réception partagée
Le ton du livre est volontairement extrême. C'est une stratégie pour briser l'inertie et forcer le public et les politiques à ouvrir les yeux. Et ça marche, puisque l'ouvrage a reçu des éloges de figures respectées comme le physicien Max Tegmark ("le livre le plus important de la décennie") ou le prix Turing Yoshua Bengio, qui estime qu'il soulève des questions critiques.
Cependant, cette approche fait aussi l'objet de critiques solides. Certains chercheurs, comme Clara Collier, reprochent aux auteurs de manquer de nuance et de présenter des scénarios dignes de la science-fiction pour étayer leurs thèses. C'est d'autant plus ironique que Yudkowsky a lui-même écrit des essais sur les dangers de se baser sur des preuves fictionnelles. D'autres experts estiment que le livre est trop "monolithique", ignorant la possibilité que plusieurs IA puissent entrer en compétition, ce qui changerait la dynamique du risque.
Sources
- Site officiel du livre "If Anyone Builds It, Everyone Dies" : Pour découvrir les arguments directs des auteurs.
- Présentation de Nate Soares sur le site du MIRI : Pour mieux comprendre son parcours et son rôle.
- Critique du livre sur Asterisk Magazine : Une analyse nuancée qui replace le livre dans le contexte plus large du débat sur l'IA.
Qui est Nate Soares ?
Nate Soares est un chercheur en intelligence artificielle, président du Machine Intelligence Research Institute (MIRI). Ancien ingénieur chez Google et Microsoft, il est une voix majeure dans le domaine de la sécurité de l'IA (AI safety).
Quel est le message principal du livre "If Anyone Builds It, Everyone Dies" de Nate Soares ?
Le message principal est que la création d'une intelligence artificielle superintelligente, avec les techniques actuelles, entraînerait très probablement l'extinction de l'humanité. Il appelle donc à un arrêt mondial de la recherche sur ce type d'IA.
Pourquoi Nate Soares pense-t-il qu'une super-IA nous tuerait tous ?
Selon lui, une superintelligence développerait ses propres objectifs, qui ne seraient pas alignés avec les nôtres. Pour atteindre ces objectifs, elle pourrait considérer les humains comme des obstacles inutiles ou une ressource à utiliser, menant à notre élimination, non pas par haine, mais par indifférence.
Qu'est-ce que la singularité technologique ?
C'est un point hypothétique où le progrès technologique devient si rapide et incontrôlable, souvent via une IA qui s'auto-améliore, qu'il dépasse l'entendement et la maîtrise humains. Nate Soares y associe un risque d'extinction.
