Technologie clé de la e-santé de demain, l’intelligence artificielle offre des perspectives de richesse substantielles mais s'accompagne aussi de risques accrus pour les acteurs du DM. Où en est-on sur le plan juridique ? Le risque de responsabilité est-il assurable ? Le point sur ce sujet.

Par Cécile Théard-Jallu, avocate associée chez De Gaulle Fleurance & Associés, et Guillaume Santiago, fondateur et dirigeant d’Onlynnov

L’intelligence artificielle (IA) repose sur l’utilisation d’algorithmes toujours plus complexes, qui souvent surpassent la fiabilité d’analyse de l’humain. Pourtant, l’IA actuelle est "faible" (Artificial Narrow Intelligence) et non pas forte (Artificial General Intelligence) : elle utilise une mémoire de données massive capable de résoudre des problèmes variés grâce à des processeurs, mais elle n’a ni conscience ni émotion. La Super AI aux capacités supérieures à l’homme, est encore plus lointaine, quoi qu’en disent les transhumanistes.

L’analyse juridique et assurancielle des dispositifs médicaux connectés et "intelligents" s’opère donc au regard de cette IA faible.

Les outils juridiques actuels permettent de couvrir l’usage des DM connectés. Entre autres, la propriété intellectuelle et le secret permettent de les protéger et de les valoriser en tant qu’actifs. Le RGPD et la Loi informatique et Libertés, notamment leurs dispositions spécifiques aux données de santé, visent à garantir la protection des données personnelles des patients, dès la conception des DM.

Des débats en cours sur la responsabilité

Avant tout, la digitalisation des DM soulève des craintes de responsabilité : civile, administrative ou pénale, contractuelle ou délictuelle, pour faute, du fait des produits défectueux… La victime d’un dommage résultant d’un DM et le professionnel qui l’utilise, peuvent déjà agir.

Ceci dit, la possibilité d’engager la responsabilité d’un produit défectueux en matière d’IA fait l’objet d’un débat en raison de son caractère immatériel, de sa complexité croissante et de sa nature par essence aléatoire puisqu’en apprentissage permanent. Au niveau de l’UE, un groupe d’experts a été missionné pour avancer sur ces sujets, également débattus sur le plan national français.

De nouvelles problématiques devront être anticipées comme l’obligation d’information du patient dans le processus décisionnel, les risques et les biais, ou bien la formation des professionnels.

Éthique et garantie humaine

Le développement de l’IA a fait émerger diverses questions éthiques : les DM intelligents peuvent agir directement avec le corps humain ou sa capacité de prise de décision. Or, des risques existent pour le patient et le professionnel de santé : décision erronée, discrimination, disparition du contact humain, perte d’autonomie du soignant transformé en simple exécutant, etc.

Le 8 avril 2019, la Commission européenne a donc publié des principes éthiques, visant à assurer un développement harmonisé de l’IA dans l’UE. 7 principes généraux sont identifiés : (i) contrôle et surveillance humains, (ii) robustesse technique et sécurité, (iii) respect de la vie privée et des données, (iv) transparence, (v) diversité, non-discrimination et impartialité, (vi) bien-être environnemental et social et (vii) responsabilité.

Centrée sur l’humain, l'approche est organisée en 3 niveaux :

• Human-In-the-Loop (HIL) : l’humain dans le cycle décisionnel de l’IA,
• Human-On-the-Loop (HOL) : l’humain lors de la conception de l'IA,
• Human-In-Command (HIC) : l’humain surveillant l'activité globale de l'IA.

Au niveau français, les travaux du CCNE, repris dans l’article 11 du projet de loi sur la bioéthique du 24 juillet 2019, adoptent également ce principe de garantie humaine, tandis que les lignes directrices de l’OCDE sur l’IA reprennent en substance les principes de l’UE.

En pratique, pour un DM, cette garantie humaine passera par l’évaluation du niveau d'implication de l’IA dans le fonctionnement et processus de décision (diagnostic / traitement), en s’assurant que les patients sont informés et le professionnel de santé correctement formé en prenant lui-même la décision finale. Le tout pourra être agrémenté d’un second regard médical humain, systématique ou à la demande du patient ou du soignant. Enfin, cette garantie pourra être appliquée aux stades de conception, de fabrication et de maintenance du DM, par le fabricant ou ses fournisseurs, en collaboration avec les organismes notifiés, les soignants et toutes autres parties prenantes, notamment lors de vérifications ciblées et aléatoires. Des organes de contrôle internes et externes, indépendants ou non, sont aussi envisagés.

Faire face à d’éventuels incidents

Au-delà des opérations classiques de gestion des risques, il convient d'anticiper les risques de défaillance d'un DM connecté intelligent de façon contractuelle. Le rôle de chaque partie prenante (fabricant, fournisseur, client...) devra être prévu et suivi, tout au long de la vie du DM, le cas échéant avec des clauses de limitation de responsabilité selon ce que le droit permet.

Rédiger ces contrats requiert une étroite collaboration entre le fabricant et son conseil juridique dans un contexte de réglementation mouvante, notamment avec les deux nouveaux Règlements européens sur les DM.

L’assurance, quant à elle, est le dernier rempart qui protège l’entreprise en cas d’incident grave. Pourtant elle est souvent négligée. Les fournisseurs de technologies de santé impliquant une forte composante logicielle, sont mal compris par les assureurs et ont des difficultés à trouver des solutions adaptées. Sans le savoir, beaucoup sont mal assurés.

Assurer le risque de perte de marquage CE, c’est désormais possible ! L’assurance de Responsabilité Civile des DM digitaux doit à la fois répondre à l’obligation réglementaire d’assurance RC des fabricants de DM, mais aussi aux risques spécifiques du numérique : (i) propriété intellectuelle des logiciels, (ii) engagement de disponibilité ou de performance, (iii) infrastructures complexes (SaaS, Cloud, IA, blockchain …), (iv) collecte, traitement et hébergement de données de santé…. Aucun contrat d’assurance standard ne répond à l’ensemble de ces besoins car DM et numérique sont traités dans des "silos" parallèles chez les assureurs. L’intervention d’un courtier spécialiste est souvent indispensable pour concevoir une solution d’assurance sur mesure.

En cas d’incident sanitaire, les aspects juridiques et contractuels prévus en amont avec les avocats seront utilisés comme support par l’assureur pour bâtir la défense du fabricant.

www.degaullefleurance.com, www.onlynnov.com