IA dans les systèmes critiques : vers un cadre de confiance

Imaginez : c’est le jour du grand départ en vacances. À l’aéroport, vous traversez le tarmac en tenant vos enfants par la main, en direction de l’appareil stationné un peu plus loin, moteurs allumés. À côté de l’escalier d’accès, vous découvrez un panneau indiquant « AI inside », intelligence artificielle à bord. Est-ce que vous montez quand même ? Le position paper, « End-to-end Trustworthy AI Engineering Lifecycle », permet de répondre à cette interrogation légitime. 

Selon Fateh Kaakai, chercheur en IA de confiance chez Thales cortAIx Labs et co-auteur de l’étude : « vous pouvez monter dans l’avion parce qu’un cadre garantit une intégration sûre de l’IA avec le niveau de sécurité requis ».

Anticiper la révolution de l’IA dans les systèmes critiques

Thales a été parmi les premiers grands acteurs industriels à anticiper le bouleversement qu’allait représenter l’intelligence artificielle dans la conception de ses produits et solutions. 

À travers l’initiative cortAIx, et au sein du projet multi-acteurs confiance.ai, le Groupe travaille depuis des années sur l’intégration de l’IA dans les systèmes critiques où la moindre défaillance peut avoir de lourdes conséquences. Cette réflexion tient toujours compte du contexte réglementaire, comme la loi sur l’IA (AI Act), entrée en vigueur dans l’Union européenne en 2024, qui proscrit certains usages à risque et renforce les exigences de transparence.

La confiance en l’IA est un préalable à son déploiement

Ce travail de long terme a permis d’aboutir à une conviction forte : la confiance en l’IA est un préalable à son déploiement à grande échelle, à plus forte raison dans les systèmes critiques où son application implique la prise en compte de nombreuses contraintes : la complexité des systèmes concernés ; les objectifs de fiabilité et de disponibilité très élevés ; l’embarquabilité dans des composants limités en taille, poids et énergie ; la connectivité entre les sous-systèmes qui peut être intermittente, à faible bande passante, voire contestée (brouillage) et la satisfaction des enjeux éthiques…

Lorsque le Groupe commercialise un outil dédié à la maintenance prédictive en aéronautique, intégrant de l’IA, il doit donner à ses clients les plus hautes garanties de fiabilité et de transparence. « Un produit de confiance fait ce qu’il doit faire, tout ce qu’il doit faire et seulement ce qu’il doit faire », détaille Juliette Mattioli, experte en intelligence artificielle chez Thales. 

« Si on y intègre de l’IA par apprentissage, la réponse donnée par le système peut changer en fonction du contexte, ce qui est un premier défi. Le second défi est celui de la transparence et de l’explicabilité : on doit mettre en place des démarches précises pour rendre compréhensible le fonctionnement de la machine par l’utilisateur, mais aussi par le concepteur, qui fait le débogage, et par l’auditeur qui certifie le produit. On doit pouvoir apporter des preuves : il ne suffit pas de dire que ça marche ! »

Vers des processus industriels robustes et explicables

Etablir une « chaîne de confiance » : voici le grand défi des acteurs industriels qui intègrent l’intelligence artificielle dans des systèmes critiques. Qu’il s’agisse d’une aide au pilotage dans les avions de chasse, d’équipements de dialyse à l’hôpital, ou de systèmes de cybersécurité, la fiabilité doit être irréprochable. C’est pourquoi Thales a travaillé sans relâche pour établir des processus industriels robustes, fiables, explicables, et conformes aux règlementations en vigueur à l’échelle nationale, européenne et mondiale (voir encadré). 

L’article « End-to-end Trustworthy AI Engineering Lifecycle » est l’aboutissement de travaux entamés dès 2019, qui visent à établir l’ingénierie de l’IA comme une discipline à part entière, obéissant à des règles propres. 

« Les méthodes et les outils que nous proposons bousculent une bonne partie des pratiques actuelles dans l’ingénierie logicielle, l’ingénierie des algorithmes, l’ingénierie système… », prévient Juliette Mattioli. « C’est quelque chose de nouveau, rendu nécessaire par le fait qu’on met de l’intelligence artificielle dans nos systèmes. »

Compléter les processus existants pour une bonne intégration de l’IA

Concrètement, quelles sont les évolutions proposées par Thales ? Le premier axe consiste à identifier les fonctions d’un système qui peuvent légitimement être développées avec de l’IA, en tenant compte de la sécurité et des bénéfices opérationnels

« Dans un avion commercial, par exemple, les commandes de vol n’intègrent pas d’IA », rappelle Fateh Kaakai. L’Agence européenne de la sécurité aérienne (EASA) n’envisage pour le moment pas d’autoriser l’IA pour les fonctions les plus critiques. « En revanche de nombreuses autres fonctions sont éligibles à l’intégration de l’IA, comme l’aide à la décision, à la navigabilité, à la détection d’objets, à la survivabilité dans un environnement contraint... Identifier les fonctions réellement compatibles avec l’IA est un premier niveau de sécurité et cela suppose une expertise fine des limites de ces technologies », souligne-t-il.

Une fois les fonctions pertinentes identifiées, le second aspect est d’apporter de la rigueur dans les processus d’ingénierie, en tenant compte des réglementations et standards existants. « C’est particulièrement vrai dans l’aviation, qui a derrière elle des décennies d’ajustements, d’expérimentations, de développement de normes », complète Fateh Kaakai. « Ce que nous apportons aujourd’hui, c’est le complément nécessaire pour garantir que les limitations des technologies d’IA sont traitées, et ne présentent plus le moindre risque majeur pour les systèmes et leurs usagers. » 

Un nouveau cycle de développement en W

Ce complément tient en une lettre, comme une petite révolution : W. L’ingénierie algorithmique obéissait depuis des décennies à un cycle de développement bien connu, en forme de V, intégrant toutes les étapes : capture de besoin, spécification, conception, implémentation, intégration, vérification, validation, puis déploiement et maintenance. 

Thales développe aujourd’hui un cycle en W, dont le premier « V » est consacré à la conception d’algorithmes fiables, avec des garanties de confiance ; le second « V » porte sur leur implémentation puis leur intégration (logicielle et/ou matérielle) sur les plateformes cibles. 

« Dit comme cela, c’est assez simple, mais cela tire énormément de choses : ce premier V implique de nombreuses activités, des chaînes outillées adaptées, des compétences particulières… » Le tout dans un contexte de complexité grandissante des algorithmes basés sur l’intelligence artificielle, une tendance qui devrait s’accentuer à l’avenir.

Les compétences au cœur de la transformation

Pour appliquer ces changements, la question des compétences est cruciale : le processus d’ingénierie en W impose une nouvelle approche des métiers impliqués, avec l’apparition de tout un nouveau champ de profils dans les formations universitaires ces dernières années : data scientists, data engineers, machine learning engineers… Ces nouvelles compétences de l’ingénierie algorithmique doivent s’intégrer dans des équipes pluridisciplinaires, aux côtés des métiers plus classiques (ingénierie système, logiciel, matériel) et des expertises spécialisées (sûreté de fonctionnement, cybersécurité, facteurs humains etc.).

Le cycle de vie de l'ingénierie de l'IA de confiance, résumé dans l’article « End-to-end Trustworthy AI Engineering Lifecycle », fournit un cadre complet pour faire face aux défis inhérents aux technologies d'IA. Par ce travail, Thales réaffirme son engagement à développer des systèmes basés sur l'IA qui soient non seulement efficaces, sûrs et sécurisés, mais aussi responsables, transparents et éthiques.