La troisième version de l'Artificial Intelligence Act (AI Act) a été validée en juin 2023 par le Parlement européen après le vote du Conseil en décembre 2022. Frédéric Barbot nous explique ici à quels changements les entreprises medtech européennes doivent s'attendre avec cette nouvelle mouture du projet de règlement.

Frédéric Barbot (crédit photo Inserm).

Par Frédéric Barbot, Praticien Hospitalier, Inserm CIC 1429, hôpital Raymond Poincaré APHP, Garches. Tech4Health. Réseau d’expertises F-Crin.

Proposé en version initiale le 21 avril 2021 , le règlement européen AI Act suit un long processus législatif appelé "trilogue" impliquant des négociations entre la Commission, le Conseil et le Parlement européens, avec la perspective d'une finalisation en 2024. Ce sera alors l’une des premières lois au monde sur l’intelligence artificielle, qui pourrait servir de référence à de nombreux pays, comme cela a été le cas avec le RGPD.

Nous en sommes à la troisième version, votée en juin 2023 par le Parlement européen. Une version qui tient compte de nombreuses critiques émises à l’égard de la première version, analysée ici même en 2022.

Première constatation, la définition d’un système d’IA (article 3 (1)) ne repose plus sur l’utilisation d’une ou plusieurs techniques algorithmiques (supprimées de l’annexe I). Elle se réfère désormais à « un système basé sur une machine, conçu pour fonctionner avec différents niveaux d'autonomie, et qui peut, pour des objectifs explicites ou implicites, générer des résultats tels que des prédictions, des recommandations ou des décisions qui influencent les environnements physiques ou virtuels ». La définition a ainsi été alignée sur celle de l'Organisation de Coopération et de Développement Economiques (OCDE). Elle n’inclut donc plus le terme "logiciel", lui préférant celui de "système basé sur une machine" plus centré sur les capacités d’apprentissage automatique et sur le concept de fonctionnement autonome. La définition étant la base de cette réglementation, elle doit être aussi claire que possible. Elle est peut-être encore trop large.

Des exigences de conformité particulièrement lourdes pour les DM

Rappelons que l'IA Act privilégie une approche fondée sur les risques. Les systèmes d'IA en santé sont maintenus dans la catégorie des IA à haut risque (article 6 et annexe II), même s’ils ne sont pas tous considérés comme des dispositifs "à haut risque" en vertu des règlements 2017/745 (RDM) et 2017/746 (RDIV). Cela risque de complexifier l’approbation réglementaire de très nombreux logiciels classés IIa, IIb ou III selon la règle 11 du RDM. Les exigences de conformité seront lourdes, avec notamment le défi de suivre les changements du modèle d’IA et les possibles réévaluations du risque. Cela nécessitera-t-il une nouvelle évaluation réglementaire ?

D'ailleurs, le chevauchement avec les autres règlements européens est toujours présent, en particulier sur les systèmes de management de la qualité et de gestion des risques en ce qui concerne le RDM et le RDIV. Il en est de même avec le RGPD sur les règles de transparence des données. En outre, il existe encore des incohérences entre certains termes et définitions utilisés dans l’IA Act et ceux utilisés dans le RDM et le RDIV.

Les normes harmonisées (article 40) ou les spécifications communes (article 41) détailleront les exigences techniques et couvriront des aspects spécifiques tels que la gestion des risques, la qualité des données d’entrainement, la transparence, l’explicabilité afin de démontrer la conformité aux exigences du règlement sur l’IA. Ces normes horizontales ne seront pas spécifiques à la medtech et ne devront pas être en opposition des très nombreuses normes harmonisées du RDM/RDIV. L’environnement réglementaire est déjà suffisamment complexe.

Ce sont les organismes notifiés qui pourraient être en charge d’évaluer en parallèle la conformité au règlement RDM (ou RDIV) et à l'AI Act ; ce qui implique la nécessité d'un personnel hautement compétent.

Modèles de fondation et systèmes d'IA générative

Une nouvelle catégorie de systèmes d'IA a été introduite dans l’AI Act : l'IA à usage général (General Purpose AI), qui inclut les modèles de fondation (foundation models) et les systèmes d’IA générative. Un système d’IA à usage général (article 3 (1d)), est un « système d'IA qui peut être utilisé et adapté à un large éventail d'applications pour lesquelles il n'a pas été intentionnellement et spécifiquement conçu ».

Les modèles de fondation reposent sur des réseaux de neurones profond entrainés sur des données non/semi étiquetées. Ils ne seront pas réglementés comme des systèmes d’IA à haut risque mais seront soumis à de nombreuses obligations (article 28b) : évaluation, atténuation et gestion des risques (article 28b-2a), exigences de transparence, résumé de l’utilisation des données d’entrainement protégées par un droit d’auteur (article 28b-4c) entre autres. Sans oublier, les 6 principes généraux applicables à tous les systèmes d'IA (article 4a) : 1) agence et supervision humaines, 2) robustesse technique et sécurité, 3) confidentialité et gouvernance des données, 4) transparence, 5) diversité, non-discrimination et équité et 6) bien-être social et environnemental. Mais une question demeure : faut-il sur-réglementer les modèles de fondation ?

En Europe, la conformité de ces modèles aux exigences en matière de droit d’auteurs, d’évaluation et atténuation des risques, de performances et de transparence d’une manière générale, sera difficile à atteindre pour la plupart des systèmes d’IA génératives (Stanford CRFM). Les droits d’auteur sont un verrou réglementaire qu’il faudra débloquer. Enfin ces modèles utilisés à des fins médicales spécifiques devraient être traités comme des dispositifs médicaux, ce qui n’est pas le cas aujourd’hui.

On notera que les modèles de fondation (article 28b-2g) devraient être enregistrés, tout comme les systèmes d’IA à haut risque (article 60), dans une base de données de l’UE qui serait distincte d’EUDAMED.

Interdictions et sanctions

La violation des interdictions de certaines utilisations de l'IA sera passible d’amendes pouvant atteindre 40 M€, ou 7 % du chiffre d'affaires mondial annuel d'une entreprise (article 71-3). Par exemple (considérant 16), l’utilisation de certains systèmes d’IA ayant pour objectif ou pour effet d’altérer substantiellement les comportements humains d’une manière qui est susceptible de causer un préjudice psychologique ou physique devrait être interdite, y compris avec des neuro-technologies assistées par des systèmes d’IA.

L'interdiction concerne notamment les systèmes d’IA qui déploient des composants subliminaux, sauf s'il s'agit de techniques subliminales utilisées à des fins thérapeutiques approuvées (article 5). Il est utile de préciser qu’une définition claire des techniques subliminales et des composants subliminaux est indispensable à la portée du texte.

Anticiper en identifiant les risques potentiels

L’analyse de risques (article 9) d’un système d’IA va devenir essentielle, et vous pouvez dès maintenant y réfléchir. Le but est d’identifier et de traiter les dangers, les situations dangereuses et les dommages potentiels liés à l’IA, à toutes les étapes du cycle de vie du dispositif embarquant de l’IA (voir BS/AAMI 34971:2023). Voici une liste non exhaustive à prendre en compte dans l’analyse de risque d’un système d’IA en santé :

• Objectif clinique
  • Bien définir l’objectif clinique cible
• Gouvernance des données (article 10)
  • Qualité des données : données aberrantes, incomplètes, manquantes, subjectives, sous ou sur-apprentissage, étiquetage erroné
  • Biais de non représentativité : âge, sexe, groupe ethnique, milieu socio-économique, lieu géographique
  • Autres biais : utilisation de données historiques, variables confondantes, non normalité de l’un des jeux de données
  • Confidentialité et sécurité des données : Anonymisation, pseudonymisation des données et risque de ré-identification, accès restreint à des données patients, risque de perte de données, risque d’attaque adversariale
• Modélisation (annexe IV, documentation technique)
  • Qualité du modèle : choix des hyperparamètres, de l’algorithme d’apprentissage automatique et des indicateurs de performances
  • Stabilité du modèle : dégradation ou dérive des performances d’IA au fil du temps, IA adaptative non figée
  • Mauvais usage : méconnaissances des limites du modèle
  • Auditabilité du modèle : documentation (traçabilité des différentes versions) et développement des codes
• Cybersécurité (article 5 et récital 51)
  • Attaques "adversariale" ou attaques par "empoisonnement" de données

Dans un contexte où la sophistication des algorithmes est croissante, où leurs fonctionnements probabilistes sont associés à un risque d’erreurs et où l’utilisation de grands volumes de données se généralise, il est nécessaire de s’entourer d’un cadre réglementaire clair mais adaptable. L’absence de contrainte réglementaire n’est pas possible.  Mais il faut s'attendre à ce que la démonstration de la conformité en fonction de l'AI Act et des RDM/RDIV pour le marquage CE, s’avère particulièrement complexe, avec une augmentation des coûts pour de nombreuses start-up et PME de technologies médicales européennes.

www.reseau-tech4health.fr