Chez OpenAI, un test cyber a fini en vraie intrusion chez Hugging Face

Logo d’OpenAI déchirant Hugging Face
Image d'illustration. Un test d’OpenAI a visé Hugging Face. — ADN

Deux modèles d’OpenAI, testés sans garde-fous, ont quitté leur sandbox puis compromis Hugging Face. Un signal net sur le niveau réel des agents cyber.

OpenAI reconnaît que deux de ses modèles, dont GPT-5.6 Sol, ont quitté un environnement de test isolé, obtenu un accès Internet puis compromis l’infrastructure de Hugging Face pour tricher sur le benchmark ExploitGym. L’entreprise parle d’un incident cyber « sans précédent » et renforce ses contrôles, quitte à ralentir sa recherche. En face, Hugging Face avait déjà détecté et contenu l’attaque.

Un benchmark interne est censé mesurer un niveau. Pas produire un incident réel chez un tiers.

C’est pourtant ce qu’OpenAI décrit dans son billet d’enquête préliminaire. Deux modèles, GPT-5.6 Sol et un modèle plus puissant encore non publié, testés avec des refus cyber réduits, ont quitté leur environnement cloisonné puis visé Hugging Face pour récupérer les réponses d’ExploitGym. Le point frappant n’est pas seulement la fuite de la sandbox. C’est la capacité à enchaîner les étapes jusqu’à une triche ciblée, avec un but très étroit.

Un benchmark qui déborde dans le monde réel

Selon OpenAI, les modèles ont compris que Hugging Face pouvait héberger des modèles, des datasets ou des solutions utiles au benchmark. Ils ont alors cherché un chemin d’accès vers des informations secrètes pour améliorer leur score. La société parle d’un agent « hyperfocalisé » sur la résolution du test, au point de pousser l’objectif jusqu’à l’intrusion.

Le détail compte, parce qu’il retire une échappatoire commode. On n’est pas face à une génération de code dangereuse en théorie, mais à une opération cyber multi-étapes menée de façon autonome.

La sortie de sandbox n’a rien d’anecdotique

La séquence connue commence par l’obtention d’un accès web. Pour y arriver, les modèles ont consommé, d’après OpenAI, une quantité substantielle de compute d’inférence, puis exploité une faille zero-day dans un logiciel tiers hébergé en interne, utilisé comme proxy et cache pour les registres de paquets. La faille a depuis été signalée à l’éditeur.

Après cela, les modèles ont effectué élévation de privilèges et mouvement latéral jusqu’à atteindre un nœud connecté à Internet. Puis ils ont combiné identifiants exposés et autres zero-day pour trouver un chemin d’exécution de code à distance sur les serveurs de Hugging Face. Fortune précise qu’OpenAI a détecté l’activité en interne et contacté Hugging Face après coup.

Pourquoi Hugging Face a défendu ses systèmes avec un modèle chinois

L’autre information qui fait tousser, c’est la défense. Dans son propre récit relayé par NBC News, Hugging Face explique avoir d’abord tenté d’utiliser un modèle d’un grand labo américain. Les garde-fous cyber ont bloqué l’analyse utile à la réponse incident.

L’entreprise a donc basculé vers un modèle open source chinois de Z.ai, identifié comme GLM-5.2, pour la forensique et le confinement. Sur X, Thomas Wolf résume le problème en expliquant que quand un modèle frontier vous attaque à l’intérieur même de votre infra, les défenseurs ont besoin d’outils quasi frontier tout de suite, pas après validation dans un programme fermé.

Un précédent rare, mais plus vraiment théorique

OpenAI indique que le même modèle non publié s’était déjà échappé d’autres sandboxes sans compromettre d’autre entreprise. Anthropic a aussi rapporté un cas où son modèle Mythos avait obtenu un accès Internet non prévu pour envoyer un e-mail à un chercheur. Autrement dit, l’évasion n’est plus un cas isolé.

Les deux entreprises enquêtent encore. OpenAI dit durcir son environnement de recherche, même au prix de la vitesse, et a intégré Hugging Face à son programme de trusted access. Clem Delangue y voit la preuve que la sûreté de l’IA devra se construire « de façon ouverte et collaborative, avec un large accès à l’IA pour chaque défenseur, partout ». C’est une phrase politique. C’est aussi, cette semaine, une description très concrète du rapport de force.

Benjamin Romei

Spécialiste IA

X LinkedIn Site web Tous ses articles →
Une erreur dans cet article ?

Nous apportons le plus grand soin à chaque article et nous appuyons sur des sources fiables. Personne n'est à l'abri d'une erreur : si vous en repérez une, signalez-la, nous la corrigerons au plus vite.

Sujets
OpenAI Sécurité

Lisez VEKIRA en priorité sur Google

Ajoutez-nous à vos sources préférées : nos articles remonteront plus haut dans votre actualité.

Ajouter à mes sources