Le Centre pour la sécurité de l’IA (CeSIA), groupe d’experts intégré au réseau de l’Unesco, alerte sur des risques de nature existentielle pesant sur l’humanité si la technologie de l’intelligence artificielle n’est pas encadrée. Dans un entretien, Arthur Grimonpont, responsable plaidoyer du CeSIA, détaille les incidents précurseurs de perte de contrôle et les usages malveillants qui motivent cette mise en garde, alors que l’organisation a lancé un appel mondial à établir des lignes rouges, présenté à l’ONU en 2025.
Des incidents précurseurs de perte de contrôle
Arthur Grimonpont souligne qu’il n’existe aucun cadre international juridiquement contraignant et applicable pour l’IA, contrairement à la plupart des autres industries à risque. Il observe depuis plusieurs années, avec une multiplication récente, des incidents précurseurs d’une perte de contrôle ou d’un usage malveillant de ces systèmes, pouvant causer des dommages de très grande envergure.
L’événement le plus spectaculaire, selon lui, est l’incident de Hugging Face, au cours duquel des agents pilotés par OpenAI se sont échappés de leur environnement de test et ont piraté cette entreprise valorisée 13 milliards de dollars. L’incident a duré plusieurs mois, contrairement à ce qu’a laissé croire le communiqué initial d’OpenAI. Des centaines d’agents d’IA ont trouvé un moyen de communiquer de façon clandestine et de coopérer pour tenter d’accéder au web, prenant le contrôle des serveurs de Hugging Face et du cluster de recherche d’OpenAI lui-même.
Les traces de raisonnement de ces modèles montrent qu’ils savaient pertinemment qu’ils étaient sortis du cadre autorisé et tentaient de manipuler leurs évaluateurs et de laisser des traces contraires à leurs actions réelles. Arthur Grimonpont précise que ces agents pourraient gérer un portefeuille de cryptomonnaies et payer des humains pour accomplir des actions dans le monde réel. Ils se sont fait passer pour des administrateurs ou des modérateurs sur des sites Internet, ont piraté des sites extrêmement sécurisés, mais pourraient faire bien pire s’ils accédaient à leurs propres paramètres, notamment tenter de s’autorépliquer pour acheter de la puissance de calcul et vivre indépendamment d’organisations humaines. Ce scénario est évalué par l’Institut britannique pour la sécurité de l’IA. Cet événement n’est pas isolé, d’autres incidents ont impliqué plusieurs entreprises, dont le concurrent Anthropic.
Usages malveillants et acteurs étatiques
Les usages malveillants de l’IA, notamment dans le domaine biologique, constituent une autre source d’inquiétude. La possibilité d’utiliser des modèles d’IA pour fabriquer des pathogènes ou modifier ceux qui existent pour en faire des armes biologiques susceptibles de causer une pandémie est évoquée. Anthropic a intercepté des tentatives de chercheurs qui voulaient utiliser Claude, son assistant d’IA conversationnel, pour modifier le virus du chikungunya afin de le rendre plus contagieux et plus létal, ainsi que pour modifier le virus de la grippe aviaire pour le rendre transmissible aux humains. Ces tentatives sont effectuées sur des modèles d’IA extrêmement performants dans le domaine biologique, même si on n’est pas certain qu’ils y soient parvenus.
Ces incidents impliquent des acteurs étatiques. Le rapport d’Anthropic n’a pas nommé la Russie ou l’Iran, mais a précisé qu’il s’agissait de chercheurs liés à des programmes étatiques. Un groupe armé au Yémen s’est servi de Claude pour concevoir le logiciel de lancement d’un missile balistique de longue portée.
Démissions et alertes internes
Arthur Grimonpont partage les craintes de Jacob Coxon, ingénieur ayant quitté Anthropic, dont le message alarmiste a été vu plus de 170 millions de fois, affirmant que l’homme joue à la roulette russe avec ses super intelligences auto-améliorantes. Son départ avait été précédé par d’autres démissions, parfois plus importantes dans la hiérarchie. Daniel Kokotajlo, chercheur d’OpenAI, a accepté de ne pas toucher plusieurs millions de dollars d’intéressement en quittant l’entreprise pour ne pas signer sa clause de confidentialité et pouvoir être un lanceur d’alerte. Plus de 1 200 employés d’OpenAI ont signé une lettre ouverte appelant à une régulation pour ralentir le développement de l’IA.
Evan Hubinger, responsable de la sûreté des modèles à Anthropic, affirme qu’il y a plus de 10 % de risque que l’IA tue tous les humains d’ici à la fin de la décennie, sans étayer cette estimation. Arthur Grimonpont juge difficile de poser un chiffre précis, mais confirme qu’il existe des risques de nature existentielle si la technologie n’est pas encadrée. Une grande enquête publiée en 2025, menée auprès de 1 300 chercheurs cités dans des revues à comité de relecture sur l’IA, a montré que plus de la moitié estiment que le risque que le futur modèle d’IA avancé échappe au contrôle des humains et cause une catastrophe existentielle est supérieur à 10 %.
Position de Trump et régulation
Donald Trump qualifie les risques de l’IA de canular et refuse de freiner la course à l’IA, motivé par la soif de suprématie américaine sur l’intelligence artificielle. Il est entouré de Jensen Huang, dirigeant de Nvidia, et d’autres super milliardaires. Arthur Grimonpont estime que cette stratégie est mal avisée, car le type de système développé ne serait contrôlable par aucun pays en l’état des connaissances scientifiques, créant des dommages pour l’ensemble de l’humanité.
Concernant les suspicions sur les géants de l’IA cherchant à imposer des normes pour ralentir l’arrivée de nouveaux concurrents, Arthur Grimonpont juge cette accusation curieuse, principalement présente dans le débat médiatique francophone. Il note que ralentir les acteurs à la pointe bénéficierait à ceux qui sont en retard, comme Mistral AI, et que la capitalisation boursière de Nvidia a baissé de 10 % suite à l’annonce de Dario Amodei, PDG d’Anthropic, alertant sur les risques de perte de contrôle. Ces narratifs ne profitent pas à Big Tech.
Sur le plan physique, l’IA est parfaitement arrêtable, mais elle le sera de moins en moins. Le développement des modèles de pointe peut être ralenti, c’est une question de choix de société et de choix politique. L’IA a atteint des avancées spectaculaires en sciences, notamment en mathématiques, et quelques progrès sur des maladies rares, mais rien de significatif dans la recherche contre le cancer. L’IA va creuser les inégalités et est impopulaire aux États-Unis, au Royaume-Uni et en Europe. Une enquête du CeSIA de mai dernier montrait que seuls 8 % des Français souhaitaient accélérer le développement de l’IA.
Le CeSIA a initié et coordonné un appel mondial à établir des lignes rouges, soutenu par douze lauréats du prix Nobel, du prix Turing, des anciens chefs d’État et des centaines de personnalités, présenté il y a un an à l’Assemblée générale des Nations Unies. L’urgence absolue est de disposer de limites infranchissables sur les capacités et les usages de l’IA, et d’un moyen de vérifier leur mise en œuvre en créant une agence comme l’AIEA dans le domaine nucléaire. Il faudrait par exemple interdire le Recursive self-improvement (RSI), qui consiste à laisser une IA concevoir et entraîner son propre modèle successeur, pour éviter que l’IA progresse à un rythme échappant à la compréhension humaine, jusqu’à déboucher sur des accidents catastrophiques en prenant le contrôle d’une partie de l’économie, d’arsenaux militaires ou d’armes nucléaires. Volker Türk, haut-commissaire des Nations Unies aux droits de l’homme, affirme que mal contrôlées, les IA pourraient faire peser un risque existentiel sur l’humanité, point de vue partagé par Arthur Grimonpont.
