Risque existentiel

Le risque existentiel lié à l'intelligence générale artificielle est l'hypothèse selon laquelle des progrès substantiels dans l'intelligence générale artificielle (AGI) pourraient un jour entraîner l'extinction de l'homme ou une autre catastrophe mondiale non récupérable.

Il est avancé que l’espèce humaine domine actuellement les autres espèces car son cerveau possède certaines capacités distinctives qui font défaut à d'autres animaux. Si l'IA surpasse l'humanité en intelligence générale et devient " superintelligent ", alors cette nouvelle surintelligence pourrait devenir puissante et difficile à contrôler. Tout comme le sort du gorille de montagne dépend de la bonne volonté humaine, le destin de l’humanité pourrait aussi dépendre des actes d’une future superintelligence.

La probabilité de ce type de scénario fait l'objet de nombreuses discussions et dépend en partie de scénarios différents pour les progrès futurs en informatique.

Autrefois dominée par la science-fiction, les préoccupations relatives à la surintelligence ont commencé à se généraliser dans les années 2010 et ont été popularisées par des personnalités publiques telles que Stephen Hawking, Bill Gates et Elon Musk.

L’une des sources de préoccupation est que le contrôle d’une machine super intelligente, ou l’instauration de valeurs compatibles avec l’être humain, peut constituer un problème plus difficile qu’on ne le suppose naïvement. De nombreux chercheurs pensent qu'une surintelligence résisterait naturellement à toute tentative de l'éteindre ou de changer ses objectifs - principe appelé convergence instrumentale - et qu'une pré-programmation d'une surintelligence avec un ensemble complet de valeurs humaines s'avérera être une tâche technique extrêmement difficile .    En revanche, des sceptiques tels que Yann LeCun, de Facebook, affirment que les machines superintelligentes n’auront aucun désir de se préserver elles- mêmes .
Une deuxième source d'inquiétude est qu'une " explosion d'intelligence " soudaine et inattendue pourrait surprendre une race humaine non préparée.

Par exemple, dans un scénario, le programme informatique de première génération jugé capable de correspondre largement à l’efficacité d’un chercheur d’IA est capable de réécrire ses algorithmes et de doubler sa vitesse ou ses capacités en six mois. Le programme de deuxième génération n’aurait plus besoin que de trois mois pour effectuer un travail similaire, en moyenne; dans la pratique, doubler ses propres capacités peut prendre plus de temps s'il est soumis à un «hiver d'hiver de l'IA» (une période où les technologies d’IA ne progressent plus comme cela a été le cas dans les années 2000), ou plus rapidement s'il subit un «Printemps de l'IA» où les idées de la génération précédente sont particulièrement faciles à transformer en générations futures. Dans ce scénario, le temps imparti à chaque génération continue de diminuer et le système subit un nombre sans précédent de nombreuses générations d’améliorations dans un intervalle de temps court, passant d’une performance sous-humaine dans de nombreux domaines à une performance surhumaine dans tous les domaines pertinents. Plus généralement, des exemples tels que l'arithmétique et Go montrent que le passage de l'IA humaine à la capacité surhumaine est parfois extrêmement rapide.