• L’équipe de Friendly Hackers de Thales, leader mondial de la protection des données et de la cybersécurité, est arrivée en tête du challenge de la CAID^[1] organisé par la Direction générale de l’armement (DGA) dans le cadre de la 5^ème édition de la European Cyber Week qui se tient à Rennes du 21 au 23 novembre 2023.
• Le challenge, premier de ce genre organisé par la DGA, visait à évaluer les capacités des équipes attaquantes à exploiter certaines vulnérabilités intrinsèques des modèles d’IA.
• Les travaux de Thales sur la sécurité et la confiance dans l’IA répondent autant aux besoins de la défense que du monde civil, notamment des opérateurs d’importance vitale qui partagent les mêmes enjeux de protection de leurs jeux de données d’entrainement, de leur propriété intellectuelle, et de confiance dans les résultats fournis par les IA pour leurs décisions critiques.

La sécurité de l’IA au centre du Challenge de la DGA

Le challenge CAID a consisté en la réalisation de deux tâches :

​ ​ 1. Retrouver parmi un ensemble d’images celles qui ont été utilisées pour l’entrainement de l’algorithme d’IA et celles qui ont été utilisées pour le test.

Une application d’IA pour la reconnaissance d’image est le résultat d’un apprentissage d’une multitude d’images d’entraînement. En étudiant les rouages internes du modèle d’IA, les Friendly Hackers de Thales ont pu retrouver une partie des images qui ont servi à la création de l’application, obtenant ainsi une information précieuse sur les méthodes d’entrainement utilisées et la qualité du modèle.

​ ​ 2. Retrouver les images d’aéronefs utilisées par un algorithme d’IA, protégé par des techniques de désapprentissage.

Une technique de désapprentissage consiste à effacer d’un modèle des données qui ont servi à son entraînement, telles des images, afin de préserver leur confidentialité. Cette technique peut servir par exemple à protéger le caractère souverain d’un algorithme en cas d’export, de vol ou de perte de celui-ci. Prenons l’exemple d’un drone doté d’IA ; celui-ci doit pouvoir reconnaître comme menace potentielle tout aéronef ennemi ; au contraire, le modèle de l’aéronef issu de sa propre armée devrait être appris pour être identifié comme ami puis devrait être effacé par une technique dite de désapprentissage. Ainsi, même en cas de vol ou de perte du drone, les données sensibles relatives à l’aéronef que comporterait le modèle d’IA ne pourrait être extraites à des fins malveillantes. Toutefois, l’équipe de Friendly Hackers de Thales a pu s’essayer avec succès à la ré-identification des données sensées être dûment effacées du modèle, et ainsi mettre en défaut la technique de désapprentissage.

Ces missions révèlent à quel point les données d’entraînement et les modèles entraînés représentent des vulnérabilités et sont à la fois de formidables outils aux performances inégalées mais également de nouveaux vecteurs d’attaques pour les forces armées. Les conséquences sont multiples et peuvent être d’autant plus impactantes dans un environnement militaire où l’information contribue à la supériorité des forces adverses : vol de modèle, vol de données (données relatives à la reconnaissance de matériel militaire ou de théâtres d’opérations), portes dérobées (backdoors) contribuant au dysfonctionnement d’un système doté d’IA. Alors même que l'IA en général, et l’IA générative en particulier, apportent des bénéfices opérationnels considérables, soulageant les opérationnels pour leur fournir des outils d’aide à la décision entraînés de manière intensive, les nouvelles menaces pesant sur cette technologie doivent être un axe majeur d’intérêt des acteurs nationaux de la Défense.

L’approche de la Thales BattleBox, la réponse de Thales aux vulnérabilités de l’IA

La protection des données d’entraînement et des modèles entraînés est critique dans le domaine de la défense. La cybersécurité de l’IA devient donc de plus en plus nécessaire et se devra d’être autonome du fait des multiples détournements qu’offre ce nouveau terrain de jeu pour les cyberattaquants qu’est l’intelligence artificielle. Pour répondre aux menaces et aux risques qui pèsent sur l’IA et renforcer sa robustesse, Thales a développé une série de contremesures rassemblées au sein d’une approche de sécurité renforcée : la BattleBox.

1. La BattleBox Training vise à proposer des réponses aux attaques d’empoisonnement des données d’entrainement, évitant ainsi l’introduction de backdoors par un attaquant.
2. La BattleBox IP vise à appliquer un tatouage numérique (watermarking) sur le modèle d’IA pour en garantir l’authenticité et la fiabilité.
3. La BattleBox Evade vise à contrer les attaques dites de « prompt injection » visant à manipuler les requêtes pour contourner la sécurité des agents conversationnels (à travers leur modèle de langage Large Language Models) et à empêcher les attaques adversaires sur les images, comme par exemple contrer l’attaque par patch (l’ajout d’un motif perturbant la détection) sur un modèle de classification.
4. La BattleBox Privacy offre un cadre d’entraînement des IA apprenantes garantissant un haut niveau de confidentialité en s’appuyant sur une cryptographie de pointe et des protocoles de partage de secret sécurisés.

Pour empêcher tout hacking d’IA dans le cas des tâches du challenge CAID, des contremesures comme le chiffrement du modèle d’IA pourraient être l’une des solutions à mettre en place.

« Si l’IA apporte des bénéfices considérables aux opérationnels, elle doit être hautement sécurisée et cybersécurisée pour éviter tout détournement. Thales met en œuvre un panel de solutions à base d’IA, adaptées à tous les usages militaires et civils. Explicables, embarquables et intégrées au sein de systèmes critiques robustes, ces solutions ont vocation à être souveraines, frugales et fiables grâce à des méthodes et outils avancés de qualification et de validation. La double expertise IA et métier permet à Thales d’intégrer ces solutions dans ses systèmes pour améliorer significativement leurs capacités opérationnelles. » indique David Sadek, vice-président recherche, technologie & innovation chez Thales, en charge de l’Intelligence Artificielle.

L’IA chez Thales

Présent dans des activités de défense et de sécurité, où les enjeux critiques peuvent être vitaux, Thales s’est forgé un cadre éthique et scientifique permettant de développer une IA de confiance dont les exigences reposent sur quatre piliers stratégiques : la validité, la sécurité, l’explicabilité et la responsabilité. Le développement de ses solutions s’appuie sur l’expertise de plus de 300 experts seniors en IA et plus de 4 500 experts en cybersécurité associée à celle des experts métiers du Groupe dans les domaines de la défense et de la sécurité (aéronautique, défense terrestre, défense navale, spatial notamment).

Le Groupe développe des capacités techniques en test de sécurité des algorithmes d’IA, notamment des architectures de réseaux de neurones, afin d’identifier leurs vulnérabilités et proposer des contre-mesures pertinentes. Parmi la dizaine d’équipes qui a participé au challenge IA, l’équipe des Friendly Hackers de Thales, basée au laboratoire ThereSIS de Palaiseau s’est illustrée en terminant sur la première marche des 2 tâches du challenge.

Le CESTI Thales, laboratoire agréé par l’ANSSI pour conduire des évaluations de sécurité à des fins de certification, présente également lors de l’ECW des travaux visant à compromettre la décision d’une IA embarquée, en exploitant le rayonnement électromagnétique du processeur, une première mondiale.

Les équipes de conseil et d’audit en cybersécurité de Thales déploient ces outils et méthodologies auprès de l’ensemble de leurs clients souhaitant développer leurs propres modèles d’IA ou mettre en œuvre un cadre leur permettant d’exploiter ou d’entrainer des solutions du marché.

 

A propos de Thales

Thales (Euronext Paris : HO) est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Identité & Sécurité numériques. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de l’environnement et plus inclusif.

Le Groupe investit près de 4 milliards d’euros par an en Recherche & Développement, notamment dans des domaines clés de l’innovation tels que le quantique, l’Edge computing, la 6G et la cybersécurité.

Thales compte 77 000 collaborateurs répartis dans 68 pays. En 2022, le Groupe a réalisé un chiffre d'affaires de 17,6 milliards d'euros.