OpenAI affirme que son IA est devenue incontrôlable et a lancé une cyberattaque ‘ sans précédent ’.

Getty Images

OpenAI a révélé que certains de ses modèles d'IA les plus avancés sont devenus incontrôlables et ont piraté une start-up après en avoir perdu le contrôle lors d'un test de sécurité.

Le créateur de ChatGPT a déclaré que son agent – un système d'IA capable de fonctionner de manière autonome après quelques instructions humaines – était testé dans un environnement contrôlé, mais qu'il avait découvert des vulnérabilités et réussi à s'échapper.

Ils ont ciblé Hugging Face, l'une des plus grandes plateformes mondiales de partage de modèles d'IA, et ont obtenu l'accès à certains systèmes internes de l'entreprise.

OpenAI a déclaré que l'incident était “ sans précédent ” et qu'elle menait une enquête en collaboration avec Hugging Face, dont le PDG, Clément Delangue, a déclaré dans un article sur X qu'il était “ hallucinant que tout cela se soit produit ». autonomement”

“ L’enquête est en cours et nous communiquerons davantage d’informations tirées de ce qui pourrait être le premier incident de ce type ”, a ajouté Delangue.

Gina Neff, directrice du Centre Minderoo pour la technologie et la démocratie à l'Université de Cambridge, a déclaré à l'émission Today de BBC Radio 4 que les tests de sécurité – appelés bacs à sable – sont ’ censés être des environnements sécurisés où l'on peut voir de quoi les modèles sont capables “.”

“ Dans ce cas précis, il semblerait qu'OpenAI n'ait pas créé un environnement de test suffisamment sécurisé ”, a-t-elle ajouté.

Au lieu de cela, les agents ont lancé leur propre cyberattaque contre l'environnement de test lui-même, découvrant une vulnérabilité qui leur a permis de s'échapper.

Une fois à l'extérieur, l'IA a identifié Hugging Face comme un accès probable

Neil Lawrence, professeur d'apprentissage automatique à l'université de Cambridge, a qualifié cette performance d'“ exploit impressionnant ”, tout en précisant qu'elle “ reste largement dans les limites des capacités connues de la génération actuelle ” de modèles d'IA performants.

Il a souligné qu'OpenAI envisageait de s'introduire en bourse et subissait une forte pression de la part de son concurrent Anthropic, qui a fait les gros titres avec son puissant outil d'IA, Mythos.

“ OpenAI est désormais en train de rattraper son retard et tente de démontrer les capacités de ses propres systèmes en matière de cybersécurité. ’

“ Cela nous montre qu’OpenAI n’est pas capable de déployer sa propre technologie en toute sécurité ”, a-t-il ajouté.

Dans sa première déclaration concernant le piratage, le 16 juillet, Hugging Face a indiqué qu'elle évaluait encore si des données de clients ou de partenaires avaient été affectées et qu'elle contacterait les parties concernées si nécessaire.

L'entreprise a déclaré avoir corrigé les vulnérabilités mises en évidence par l'incident et reconstruit les systèmes affectés.

“ Les outils offensifs autonomes pilotés par l'IA ne sont plus théoriques ”, a-t-on déclaré.

“ Défendre une plateforme en ligne signifie désormais considérer les données et la surface de modélisation comme une surface d'attaque de premier ordre, et utiliser l'IA en défense pour suivre le rythme. »

“ Nous continuerons d’y investir et de partager ce que nous apprenons. ”

Cet incident a soulevé de nouvelles questions quant aux capacités des systèmes d'IA avancés et à la suffisance des garde-fous existants face à la montée en puissance de cette technologie.

Spencer Starkey, un cadre de la société de cybersécurité SonicWall, a déclaré à la BBC que cet incident montrait clairement que les organisations devaient “ renforcer ” leurs propres défenses et “ considérer la cyber-résilience comme une priorité opérationnelle essentielle ”.”

“ La vérité dérangeante, c’est que trop d’organisations continuent de se défendre à un rythme humain alors que leurs adversaires passent à la vitesse des machines ”, a-t-il déclaré.

De son côté, Travis Lelle, ingénieur principal en sécurité chez Guidepoint Security, une société de conseil en cybersécurité, a déclaré que cette mise à jour marquait un “ moment qui donne à réfléchir en matière de cybersécurité ”.”

“ Cela met en évidence une asymétrie connue ”, a-t-il déclaré.

“ Les agents offensifs sont sans contrainte, tandis que les meilleurs outils défensifs sont enfermés derrière des barrières qui ne peuvent pas comprendre le contexte. ”

Mais Jake Moore, conseiller mondial en cybersécurité chez ESET, a déclaré que cette annonce pourrait également avoir une dimension concurrentielle.

Il a avancé qu'OpenAI cherchait peut-être à mettre en avant ses propres capacités en IA, tandis que son concurrent Anthropic attire de plus en plus l'attention grâce à son modèle Claude Mythos.

“ Cela soulève la question de savoir si OpenAI ne court pas après le rêve marketing d'Anthropic ces derniers temps ”, a-t-il déclaré.

Cette annonce intervient une semaine après que la start-up chinoise Moonshot, spécialisée dans l'IA, a dévoilé Kimi K3, un nouveau modèle d'intelligence artificielle de grande envergure qui, selon elle, pourrait rivaliser avec les meilleures entreprises américaines.

Intelligence artificielle
Cyberattaques
Cybersécurité

Source: www.bbc.com