Les idées clés

Superintelligence

Nick Bostrom, 2014

Que se passera-t-il si, un jour, une machine devient plus intelligente que l'humain le plus intelligent, et si nous n'avons peut-être qu'une seule tentative pour nous y préparer ? Bostrom le montre : le danger n'est pas une « IA maléfique » de film, mais un système qui exécutera nos objectifs trop à la lettre ou se mettra à se protéger par des moyens que nous n'avons pas prévus. Le livre explique avec des mots simples les vrais risques de la superintelligence et les décisions qu'il faut prendre dès maintenant, et pas plus tard.

Pour qui

Pour qui s'intéresse à l'avenir des technologies et veut comprendre les vrais risques de l'IA, pas les histoires à faire peur du cinéma

Nous n'aurons peut-être qu'une seule tentative pour créer quelque chose de plus intelligent que nous, et il faut s'y préparer à l'avance, pas une fois qu'elle aura eu lieu.

De quoi parle ce livre

Ce livre parle d'un moment qui pourrait n'arriver qu'une seule fois dans l'histoire de l'humanité : celui où une machine deviendra plus intelligente que l'humain le plus intelligent. Bostrom examine ce que cela signifie concrètement, par quels chemins nous pourrions y arriver et pourquoi un seul et même événement peut devenir soit le plus grand bienfait, soit la dernière erreur de la civilisation. Si tu pensais que le sujet de l'IA se réduit soit aux robots tueurs du cinéma, soit au bruit marketing autour des chatbots, le livre remet de l'ordre : il trace la frontière entre le fantasme et le risque réel, et explique à quoi il faut concrètement réfléchir à l'avance.

Nick Bostrom est un philosophe d'Oxford qui étudie depuis de nombreuses années, de façon méthodique, les risques capables de faire vaciller toute l'humanité d'un seul coup, et pas seulement de gâcher la journée de quelqu'un. L'idée du livre est née d'une observation simple : l'humanité a maîtrisé presque toutes ses technologies par essais et erreurs, mais avec un système qui pourrait se révéler plus intelligent que nous, nous n'aurons peut-être pas droit à l'erreur, et il sera impossible de rejouer la partie. D'où la grande question du livre : comment se préparer à une force que nous n'avons pas encore créée, mais que nous pouvons déjà prévoir.

Idée 1. Ce qu'est la superintelligence et pourquoi elle est possible

Dans ce livre, l'intelligence n'est ni l'émotion ni la conscience, mais la capacité d'atteindre efficacement ses objectifs dans les situations les plus variées. Pendant longtemps, le cerveau humain a été le seul exemple connu d'une telle intelligence, c'est pourquoi notre niveau nous semble être le plafond de l'esprit en général. Mais le plafond de notre pensée est fixé par la taille du crâne, la vitesse des neurones et le rythme de l'évolution, et non par les lois de la physique. Puisque rien dans la nature n'interdit à un système d'être plus intelligent que l'humain, un tel système peut apparaître tôt ou tard.

Imagine un chauffeur de taxi qui, toute sa vie, a calculé de tête plus vite que n'importe quel passager et était sûr qu'on ne pouvait tout simplement pas calculer plus vite, jusqu'au jour où il a vu une calculatrice résoudre le même problème en une fraction de seconde.

Puisque le cerveau humain n'est pas une limite physique de l'esprit, un jour pourrait apparaître un système qui nous dépassera non pas dans une seule tâche, mais dans toutes à la fois.

Lire dans Livria

L'auteur

Nick Bostrom est un philosophe suédois, professeur à l'université d'Oxford et fondateur du Future of Humanity Institute ; depuis de nombreuses années, il étudie de façon méthodique les risques capables de toucher toute la civilisation d'un seul coup.

Tous les livres de l'auteur: Nick Bostrom

Notions du livre

  • Superintelligence: Un système qui surpasse nettement les meilleurs humains dans presque toutes les formes d'activité intellectuelle, et pas seulement dans quelques tâches étroites.
  • Alignement des objectifs: La tâche qui consiste à faire en sorte que les objectifs d'un système intelligent correspondent aux intérêts réels des humains, et non à la formulation littérale de la tâche.
  • Objectif instrumental: Un objectif intermédiaire, comme se préserver ou accumuler des ressources, utile pour presque n'importe quelle tâche finale ; c'est pourquoi presque tout système assez intelligent le poursuivra.
  • Explosion de l'intelligence: Un scénario dans lequel un système capable de s'améliorer lui-même le fait de plus en plus vite, d'une fois sur l'autre, et où ses capacités dépassent à toute allure les limites humaines.

Toutes les notions

Livres similaires