Comment évaluer l’intelligence artificielle dans le domaine médical ?
Nous avons à plusieurs reprises fait part des découvertes en cours sur l’IA et son application dans le domaine des soins de santé. L’article de Jean-David Zeitoun & Samantha Jérusalmy publié dans La Revue du praticien [2021;71(7);717-8] et intitulé » Savons-nous évaluer l’intelligence artificielle médicale ? » permet de nous arrêter et partager avec vous un aspect primordial vis à vis de ces nouvelles technologies surtout dans le champ médical.
Evaluation des nouveautés (médicaments) avant l’IA
Dans l’industrie médicale, la régulation s’est mise en place et s’est perfectionnée suite à l’avènement de problèmes. « Avant 1937, les laboratoires pharmaceutiques n’étaient pas tenus de démontrer la sûreté médicale de leurs produits. Ils devaient juste ne pas mentir sur leur contenu et leurs caractéristiques. Suite à plusieurs incidents et depuis 1962, la FDA a exigé des preuves d’efficacité pour approuver les médicaments, donnant naissance au développement des essais clinique tels qu’on le connaît aujourd’hui : phases I, II et III. Ses fondamentaux méthodologiques et réglementaires n’ont pas beaucoup évolué. »
Evaluer l’IA avec les méthodologies existantes ?
« L’évaluation des médicaments donne une base mais pas un cadre. Il existe trop de différences entre l’IA et les médicaments pour penser que le développement de la première réplique et permet l’évaluation des seconds. »
Les motivations sont d’une part l’opacité de l’IA (elle donne des prédiction via des algorithmes sans réelles explication, ils ont très souvent raison mais se trompent parfois), le caractère évolutif (les modèles auto apprennent et s’améliorent) et son utilisation est encore récente (l’IA reste encore peu connue, la peur des déviances possibles d’un mauvais usage n’est pas rassurée)
On comprend donc mieux pourquoi il est nécessaire de procéder à une évaluation spécifique et singulière de l’IA.
Design actuel des évaluations de l’IA en santé ?
Une revue systématique de 130 dispositifs médicaux contenant de l’IA autorisés par la FDA entre janvier 2015 et décembre 2020 révèle que ceux ci sont été globalement évalués par des études rétrospectives et aucun des dispositifs considérés comme à haut risque n’a fait l’objet d’une étude prospective. Le niveau de preuve lié à ce design d’étude n’est donc pas suffisant !
De plus, peu de dispositifs ont été évalués par des études multicentriques. Les effets observés peuvent donc être surestimés par le biais géographique/ populationnel qui est tout à fait applicable et non sans risque avec l’IA.
Ce constat est en plus pas nouveau.
Les technologies comme l’IA nécessite aussi un processus de revue et de réévaluation, ce qui ne semble pas encore être partagé/publié.
Que risque t on si nous ne procédons pas à l’évaluation clinique de l’IA?
Les failles de développement clinique pour l’industrie du médicament pourraient se rencontrer aussi avec l’IA :
– fonctionnement pas aussi optimale que voulu, ne répondant pas l’objectif visé
– disproportion médico-économique, couts directs, indirects et cachés
– mauvaises performances, impliqueraient méfiance et désintérêts
Pour maintenir et garantir une progression saine, sure et respectable de l’IA, il semble nécessaire de ne pas faire l’économie d’évaluation clinique de l’IA. Il semble que l’évaluation de l’IA en médecine reste insuffisante, ce qui n’est pas sans risque pour son développement.
Et en Europe, qu’est il prévu ?
La directive 2017/745 mais déjà l’ancienne directive 93/42/EEC, instaure une évaluation de la conformité des dispositifs médicaux, dont l’IA, par le respect de la norme CE.
L’IA est en effet considérée comme un dispositif médical vu qu’elle
– est utilisée à des fins médicales (diagnostic, aide au diagnostic, traitement ou aide au traitement)
– donne un résultat propre à un seul patient
– Agit sur / exploite des données entrantes (en plus d’un stockage, communication, simple recherche).
Les exigences essentielles de qualité pour les dispositifs médicaux sont
– Conception pour qu’en utilisation selon les conditions et fins prévues il réduise le risque d’erreur d’utilisation (ergonomie et intégré à l’environnement) et prenne en compte l’expérience de l’utilisateur
– Conception en tenant compte de l’état de la technique généralement reconnu en intégration de la sécurité (réduire le risque, mesure de protection, risque résiduel)
– Conception tel qu’il y a garantie de répétabilité, fiabilité et performance
– Conception selon l’état de l’art
– Système permettant de connaitre ou de signaler l’état de la source d’énergie
– Intégration de système d’alerte appropriés lorsqu’il y a monitoring de paramètres cliniques
– Présence d’informations pour permettre l’utilisation correcte et sécuritaire du DM (notice d’instruction avec indications, performance, mode de vérification, indication si des manipulations supplémentaires doivent être faite pour que le DM puisse être utilisé, précaution à prendre en cas de changement constaté dans la performance, restriction d’utilisation éventuelle, le degré de précision de la mesure, date publication/révision)
Il est également exigé d’avoir un système complet assurance qualité dont la demande d’évaluation par être réalisée auprès d’un organisme notifié (certificateur agréé). On y fait mention de
– Documentation du système qualité
– Engagement remplir les obligations du système qualité
– Engagement que le système qualité demeure efficace et adéquat
– Tenir à jour un registre des données acquises -> information autorité compétente en cas de dysfonctionnement ou altération de la performance
Engagement que l’ensemble des phases (conception > inspection) respectives directives
Documentation de l’ensemble des éléments de qualité (politiques, procédures, plan, manuel, enregistrement relatif à la qualité) tenue de manière systématique et ordonnée :
– Objectifs de qualité du fabricant
– Organisation de l’entreprise : structures et responsabilités/ autorité ; méthodes en place pour contrôler la qualité (+ essai et vérification par des tiers ?)
– Procédure de vérification de la conception du produit : description générale, spécifications, techniques de contrôles, interfacage ?, évaluation clinique
– Procédés et procédure de production du produit
– Examens et essais appropriés
