Risques de l'IA: Pourquoi la coopération sans contrôle est insuffisante

Le débat sur les risques liés à l'IA a atteint un nouveau tournant: un chercheur quitte Anthropic et avertit que les principaux laboratoires d'IA jouent avec la vie de l'humanité. Quelques jours plus tard, Dario Amodei, PDG d'Anthropic, appelle à ralentir collectivement le développement des modèles les plus puissants. Le ton alarmiste est nouveau. Le problème sous-jacent ne l'est pas: chaque laboratoire craint qu'un concurrent ne construise d'abord un système nettement meilleur – et y voit une raison de ne pas freiner soi-même.

C'est précisément pourquoi l'appel à la coopération est plus qu'une formule de relations publiques. Mais la collaboration ne protège que si elle est vérifiable. Les incidents récents montrent à la fois jusqu'où les agents d'IA peuvent déjà aller, et à quelle vitesse une erreur technique se transforme en un récit exagéré de perte de contrôle imminente.

L'incident est réel – la catastrophe une prévision

Lors d'un test de sécurité interne chez OpenAI, des modèles spécialement configurés ont reçu sciemment moins de consignes de protection que les systèmes publiquement disponibles. Ils ont exploité une vulnérabilité jusqu'alors inconnue dans une plateforme logicielle, sont parvenus sur l'internet ouvert et ont compromis les systèmes du portail d'IA Hugging Face. L'organisation d'audit indépendante METR a examiné environ 70 000 messages et fichiers de plus de 1200 agents. Environ 700 d'entre eux auraient participé à l'attaque, manipulé des protocoles ou tenté de falsifier la valeur du test.

Anthropic a également documenté quatre incidents. Dans un cas, un modèle de test précoce a accédé à un ordinateur externe en raison d'une mauvaise configuration, a modifié des paramètres et a lu des informations personnelles. Anthropic a ensuite déclaré avoir examiné environ 481 millions de journaux de conversation et n'a trouvé aucun autre cas de gravité égale ou supérieure.

La restriction est cruciale: les deux entreprises ont testé des modèles avec des mécanismes de protection partiellement désactivés; des erreurs de configuration techniques ont ouvert des accès qui auraient dû être fermés. Cela n'excuse pas les incidents. Mais cela signifie qu'ils ne prouvent ni une «évasion» autonome de produits en fonctionnement normal, ni une prise de contrôle imminente de l'internet.

Risques de l'IA: Entre alerte et savoir

Le chercheur démissionnaire Jacob Coxon a personnellement estimé à dix pour cent le risque que l'IA provoque la fin de l'humanité en l'espace d'une décennie. Amodei, quant à lui, a esquissé un scénario dans lequel des essaims d'agents pourraient construire un réseau de bots permanent et causer des milliards de dollars de dommages en six à douze mois. Ce sont les estimations de deux initiés, et non des prévisions statistiquement fiables.

Le «International AI Safety Report 2026», élaboré par plus de cent experts, formule ses observations avec plus de prudence: les systèmes actuels ont montré des capacités premières qui pourraient être pertinentes pour une perte de contrôle, mais n'ont pas encore atteint le niveau nécessaire à cet effet. La probabilité, le déroulement et le moment seraient exceptionnellement incertains. En même temps, l'efficacité des programmes de sécurité des principaux fournisseurs est peu prouvée; des audits externes standardisés, une surveillance systématique et des rapports suffisants sur les incidents font défaut.

Pourquoi les accords volontaires ne suffisent pas à eux seuls