Une évaluation conjointe du UK Artificial Intelligence Security Institute et du US Center for AI Standards and Innovation place le modèle chinois Kimi K3 à 32,2% de score global en cybersécurité offensive, contre 76,2% en moyenne pour des modèles américains de pointe. Sur un critère critique, l’exécution de code arbitraire, Kimi K3 n’obtient 0 réussite sur 41 tâches, quand les meilleurs modèles testés atteignent 20/41 en moyenne. Les résultats, qualifiés de préliminaires, alimentent le débat sur l’écart réel entre la Chine et les États-Unis dans les capacités d’attaque assistées par IA.
Depuis la présentation de Kimi K3 par Moonshot AI, plusieurs responsables et observateurs à Washington s’inquiètent d’un possible rattrapage rapide de la Chine sur les grands modèles de langage. La publication de cette batterie de tests, conduite par des organismes publics de normalisation et de sécurité, apporte des chiffres concrets sur un sujet souvent dominé par des classements généralistes et des démonstrations marketing.
UK AISI et CAISI comparent Kimi K3 à des modèles US
Le rapport réunit deux acteurs institutionnels, le UK AISI et le CAISI américain, qui travaillent sur l’évaluation des risques liés aux modèles avancés. Leur objectif est de mesurer des capacités opérationnelles, pas seulement des scores académiques. Dans ce cadre, la cybersécurité offensive est traitée comme un domaine à haut risque, car l’automatisation d’attaques peut réduire les barrières techniques pour des acteurs malveillants.
Les évaluateurs concluent que Kimi K3 se situe significativement en dessous des modèles américains les plus performants sur des tâches d’exploitation de vulnérabilités. Le score global communiqué, 32,2%, est comparé à une moyenne de 76,2% pour des modèles américains de premier plan, non nommés dans la publication. L’absence de noms limite la reproductibilité externe, mais l’écart de niveau rapporté est présenté comme robuste au regard des métriques utilisées.
Cette comparaison intervient dans un contexte politique chargé. Les États-Unis multiplient les alertes sur la compétition technologique, tandis que plusieurs laboratoires chinois publient des modèles à poids ouverts ou semi-ouverts. Le rapport ne tranche pas la question de la course globale en IA, mais il précise un point, les performances en cybersécurité offensive ne suivent pas mécaniquement les progrès observés sur d’autres benchmarks généralistes.
Autre élément noté, les résultats sont dits préliminaires, car le score global de Kimi K3 est dérivé d’un seul benchmark principal, alors que d’autres modèles ont pu être évalués sur un ensemble plus large de tâches. Cette nuance compte pour interpréter les chiffres, un modèle peut être très performant sur un sous-domaine et plus faible sur un autre. Malgré cette réserve, l’écart affiché reste suffisamment large pour peser dans les discussions sur la maturité opérationnelle.
ExploitBench mesure la création d’exploits de bout en bout
Le cur de l’évaluation repose sur ExploitBench, un benchmark public développé par Carnegie Mellon University. Il vise à mesurer la capacité d’un système à produire un exploit complet, depuis l’analyse d’une vulnérabilité jusqu’à la construction d’une chaîne d’exploitation fonctionnelle. Contrairement à des tests de connaissances en sécurité, il s’agit d’évaluer une aptitude à générer des actions techniques abouties.
Sur ce test, Kimi K3 atteint environ 32%. Le rapport souligne qu’il dépasse GLM-5.2, un autre modèle chinois à poids ouverts, qui obtient 24%. Ce point est important, il indique que Kimi K3 progresse à l’intérieur de l’écosystème chinois sur des tâches offensives spécifiques. Mais la comparaison internationale reste défavorable, les modèles américains les plus capables culminent à 76,2% en moyenne, ce qui suggère une meilleure maîtrise des étapes critiques, compréhension du bug, choix de primitives, contournements, et stabilisation de l’exploit.
Le rapport insiste aussi sur la distance entre réussir une fois et réussir de manière fiable. Dans le monde réel, un exploit doit souvent fonctionner dans des environnements variés, avec des configurations différentes et des protections actives. Un score plus faible peut refléter des échecs à une étape seulement, par exemple une mauvaise hypothèse sur la version d’un composant, une charge utile instable, ou une incapacité à gérer des erreurs lors de l’exécution.
Les auteurs notent enfin que la mesure ne doit pas être lue comme une preuve d’innocuité. Même à 32%, un modèle peut accélérer certaines tâches, comme l’identification de surfaces d’attaque, la génération de scripts, ou la rédaction de procédures. L’intérêt d’ExploitBench est de rendre visible la capacité à aller jusqu’à l’effet technique final, ce qui est plus proche d’un usage offensif concret.
0/41 en exécution de code, contre 20/41 pour les meilleurs
L’un des indicateurs les plus sensibles du rapport concerne l’arbitrary code execution, souvent abrégé ACE. Obtenir l’ACE signifie qu’un attaquant peut exécuter du code de son choix sur une machine cible, un résultat généralement classé parmi les impacts les plus graves. C’est souvent un point de bascule, car il permet ensuite l’élévation de privilèges, la persistance, le vol de données ou le déploiement de rançongiciels.
Sur les 41 tâches ExploitBench examinées pour ce critère, Kimi K3 obtient 0/41. À l’inverse, les modèles américains les plus cyber-capables atteignent en moyenne 20/41. L’écart est majeur, car il ne porte pas seulement sur une baisse de score, mais sur l’absence totale de réussite sur ce sous-ensemble, selon les chiffres publiés.
Plusieurs interprétations sont possibles sans spéculation excessive. Kimi K3 peut échouer à produire des charges utiles correctes, à gérer des conditions d’exploitation précises, ou à enchaîner correctement les étapes nécessaires pour passer d’une vulnérabilité théorique à un contrôle effectif. Les modèles américains, eux, semblent capables de franchir plus souvent ce seuil, ce qui augmente le risque potentiel s’ils étaient détournés ou mal encadrés.
Ce point alimente aussi le débat sur les garde-fous. Un modèle peut être performant et bien contrôlé, ou moins performant mais plus permissif. Le rapport ne présente pas Kimi K3 comme inoffensif, il indique plutôt qu’à ce stade, il ne rivalise pas avec les meilleurs systèmes américains sur l’obtention d’un résultat d’exploitation maximal. Pour les équipes de défense, ces chiffres peuvent influencer les priorités, par exemple surveiller davantage les outils capables de transformer une vulnérabilité en prise de contrôle.
Le scénario TLO montre une autonomie limitée mais réelle
Au-delà des exploits unitaires, l’évaluation inclut un scénario de type opération complète, baptisé The Last Ones ou TLO. Il s’agit d’une attaque simulée sur un réseau d’entreprise, découpée en 32 étapes, destinée à mesurer la capacité d’un modèle à conduire une chaîne d’actions de bout en bout. Cette approche cherche à se rapprocher d’une réalité opérationnelle, où l’attaquant doit reconnaître l’environnement, pivoter, collecter des informations, et progresser vers un objectif.
Dans ce cadre, Kimi K3 atteint en moyenne l’étape 17. Les modèles américains les plus performants atteignent 28,5 étapes en moyenne. La différence suggère un écart de planification, de persistance face aux erreurs, ou de capacité à choisir les bonnes actions au bon moment. Une opération réseau nécessite souvent des décisions conditionnelles, la prise en compte de contre-mesures, et une bonne gestion du contexte, des points où les grands modèles peuvent diverger fortement.
Le rapport mentionne un détail qui retient l’attention, Kimi K3 a réussi à compléter toute l’attaque simulée dans 1 tentative sur 10. Pour les évaluateurs, cela montre que le modèle est capable, lorsqu’il est guidé et qu’il dispose d’un accès initial, d’attaquer de manière autonome des systèmes d’entreprise petits, faiblement défendus et vulnérables. La formulation signale un risque réel pour des organisations sans hygiène de sécurité minimale.
Autre constat, les safeguards de Kimi K3 n’ont pas empêché le modèle de tenter le développement d’exploits ou des opérations offensives durant les tests. Le rapport ne détaille pas les mécanismes de filtrage, mais cette observation pose une question classique, la robustesse des garde-fous dépend des consignes, des contournements possibles et du cadre d’évaluation. Pour les autorités, cela renforce l’intérêt d’audits indépendants et de protocoles standardisés.
Enfin, les auteurs rappellent une limite méthodologique, le score global de Kimi K3 est estimé à partir d’un benchmark unique, alors que d’autres modèles peuvent avoir été testés sur davantage de tâches. Cette précision n’annule pas les écarts constatés sur ExploitBench et TLO, mais elle invite à considérer ces résultats comme une photographie partielle, susceptible d’évoluer avec de nouvelles versions du modèle, de nouveaux benchmarks, et des conditions de test harmonisées.
