Ils construisent l’IA… et certains disent qu’elle pourrait menacer l’humanité

Le paradoxe vient de l’intérieur de l’industrie

Le 30 mai 2023, le Center for AI Safety a publié une déclaration très courte : réduire le risque d’extinction lié à l’IA devrait être une priorité mondiale, au même titre que d’autres risques à l’échelle de la société. Parmi les signataires figuraient Sam Altman, Demis Hassabis, Dario Amodei, Geoffrey Hinton et Yoshua Bengio.

Le point important n’est pas de présenter cette déclaration comme une preuve qu’une catastrophe va se produire. C’est au contraire de constater que des dirigeants et chercheurs directement impliqués dans le développement de l’IA ont jugé suffisamment sérieux un scénario extrême pour le placer dans le débat public.

De quoi parle-t-on quand on évoque un « risque existentiel » ?

Le scénario n’est pas celui d’un chatbot actuel qui déciderait soudainement de détruire le monde. Les discussions portent surtout sur des systèmes futurs beaucoup plus autonomes et capables, sur leur utilisation malveillante, et sur la possibilité qu’un système poursuive des objectifs incompatibles avec ceux de ses concepteurs ou échappe progressivement à leur contrôle.

En juillet 2023, OpenAI écrivait que la superintelligence pourrait apporter des bénéfices considérables, mais aussi conduire à une perte de pouvoir de l’humanité, voire à son extinction. Ce texte décrivait un risque à prévenir, pas une prédiction scientifique sur ce qui arrivera.

L’industrie construit déjà des garde-fous pour des risques encore incertains

Anthropic maintient en 2026 une Responsible Scaling Policy consacrée aux risques catastrophiques pouvant apparaître à mesure que les modèles deviennent plus puissants. L’entreprise publie également des Risk Reports pour décrire les risques qu’elle identifie et son niveau de préparation.

Google DeepMind poursuit une logique comparable avec son Frontier Safety Framework. Sa version 3.1, publiée le 17 avril 2026, vise à détecter suffisamment tôt des capacités susceptibles de créer des risques sévères et à appliquer des mesures de gouvernance et de mitigation proportionnées.

La science ne permet pas de transformer l’alerte en certitude

L’International AI Safety Report 2026 apporte ici une nuance essentielle. Il indique que la base de preuves est solide pour certains dommages déjà observés, tandis que les risques dépendant de futures capacités reposent davantage sur des expériences contrôlées, des exercices de modélisation et des analyses théoriques.

Sur la perte de contrôle, le rapport note que les systèmes actuels montrent certains signes de capacités pertinentes, mais pas à un niveau permettant aujourd’hui une perte de contrôle. Il souligne aussi qu’il reste insuffisamment de preuves pour déterminer de manière fiable comment ces capacités pourraient évoluer et se généraliser.

Autrement dit, deux affirmations seraient excessives : dire que l’extinction provoquée par l’IA est certaine, ou affirmer qu’un tel risque peut être exclu. L’état actuel des connaissances est celui d’une forte incertitude.

Le vrai sujet devient la décision sous incertitude

C’est précisément cette incertitude qui déplace le débat. Faut-il attendre qu’un danger soit démontré avant d’imposer des limites, au risque d’agir trop tard ? Ou faut-il freiner certaines capacités en amont, avec le risque inverse de surévaluer une menace encore hypothétique ?

Le rapport international 2026 décrit ce dilemme : les responsables doivent éviter à la fois de sous-estimer des capacités émergentes et de sur-réagir à des avancées techniques qui pourraient ne pas produire les effets redoutés dans le monde réel.

Ceux qui accélèrent sont aussi ceux qui installent les freins

La contradiction est devenue structurante : les principaux laboratoires cherchent à construire des systèmes plus capables tout en élaborant des seuils, des évaluations, des restrictions d’accès et des procédures de sécurité destinés à prévenir certains scénarios extrêmes.

Cela ne prouve pas que ces scénarios se réaliseront. Cela montre en revanche que la question du contrôle n’est plus confinée à la science-fiction ou aux critiques extérieures au secteur.

La vraie rupture pourrait donc être moins spectaculaire qu’une machine qui se retourne contre l’humanité : elle tient peut-être au fait que ceux qui construisent les systèmes les plus puissants reconnaissent désormais qu’ils doivent aussi construire les mécanismes capables de les arrêter, de les limiter ou de ralentir leur déploiement.

La question n’est plus seulement : jusqu’où l’IA peut-elle aller ?

Elle devient aussi : jusqu’où sommes-nous prêts à la laisser aller avant d’avoir compris comment garder le contrôle ?