Le guide incontournable de l'IA explicable (XAI)

L'IA explicable (XAI)

C'est une intelligence artificielle (IA) qui aide toute personne n'étant pas spécialiste technique ou data scientist à comprendre comment des modèles de machine learning (ML) aboutissent à une décision.

Par exemple, si vous avez entraîné un modèle ML avec des données financières pour faciliter la décision d'approuver ou de rejeter une demande de prêt, l'IA explicable vous donne non seulement la réponse, mais elle vous explique aussi comment et pourquoi elle est parvenue à cette décision.

Ce modèle se distingue des modèles de type « boîte noire » qui sont plus répandus dans le monde du ML, où certains modèles sont plus interprétables que d'autres. Par exemple, les arbres de décision fournissent des résultats plus facilement interprétables, tandis que les réseaux neuronaux sont plus opaques. Ainsi, il faut souvent faire un compromis entre précision et explicabilité.

Même les personnes qui créent et déploient des modèles de type boîte noire ne savent pas quelles informations le modèle a utilisées, ni comment, pour aboutir à un résultat.

Dans notre exemple de demande de prêt, un modèle de type boîte noire vous permettrait seulement d'obtenir une évaluation, qui vous aiderait à décider d'approuver ou non le prêt.

Pour les entreprises et les responsables qui doivent garantir transparence, fiabilité et décision non biaisée, les résultats obtenus avec des modèles de type boîte noire présentent un risque. `Et beaucoup utilisent des modèles proxy pour expliquer leur fonctionnement.

Refuser un prêt à quelqu'un dont la solvabilité et la capacité financière permettaient de lui accorder serait susceptible d'entraîner des plaintes pour discrimination. Les entreprises qui prennent de mauvaises décisions à cause des modèles de type boîte noire risquent également de perdre des clients, que ce soit en raison d'une baisse de confiance ou d'occasions manquées.

Autres exemples d'utilisation de l'IA explicable :

• Institutions financières utilisant des modèles ML pour accorder ou refuser des prêts
• Compagnies d'assurance utilisant des modèles ML pour établir des tarifs d'assurance
• Utilisation de modèles ML dans le cadre du calcul des montants d'indemnisation des sinistres
• Établissements d'enseignement utilisant le ML pour accepter ou rejeter des candidatures
• Services RH utilisant des modèles ML pour filtrer les candidatures
• Organismes de santé payeurs et prestataires de soins de santé utilisant des modèles ML pour expliquer les possibilités de traitement et les décisions en matière de remboursement

L'importance de l'explicabilité de l'IA

L'IA explicable est importante pour deux raisons principales : favoriser la transparence et la confiance, aussi bien en interne qu'à l'extérieur de l'entreprise.

Transparence et confiance à l'extérieur de l'entreprise

L'importance de l'IA explicable ne se limite pas à empêcher les mauvaises décisions. Aujourd'hui encore, l'IA n'inspire pas confiance, notamment lorsqu'elle remplace des personnes.

Harvard Business Review (HBR) a réalisé des expériences à l'aveugle comparant des descriptions d'objets, tels que des manteaux, des parfums, des maisons et des gâteaux, écrites par une IA à d'autres rédigées par des humains.

Résultat : les humains ont préféré les descriptions écrites par l'IA à celles rédigées par des personnes, du moins lorsque les personnes interrogées avaient fondé leur décision sur des « critères fonctionnels et pragmatiques ».

Mais surtout, HBR a montré que « les humains sont enclins à accepter les recommandations de l'IA à condition que celle-ci travaille avec eux », au lieu de les remplacer.

L'IA explicable fonctionne bien avec les modélisations et les explications de l'IA augmentée ou assistée. Elle aide les utilisateurs, peu importe leur expérience/formation, à comprendre pourquoi certaines données sont utilisées et comment les réponses sont obtenues.

Prenons l'exemple d'une personne recherchant des conseils en matière de placements de retraite. La personne souhaitant investir vous indique ses revenus ainsi que ses objectifs, puis vous demande conseil. Vous pouvez traiter ces informations via un modèle de machine learning et lui fournir des recommandations.

En vous aidant de l'IA, vous êtes alors en mesure d'expliquer pourquoi une option a été sélectionnée plutôt qu'une autre et quelles informations ont été utilisées pour obtenir les résultats finaux.

Il existe bien d'autres utilisations.

Nous venons d'aborder la partie de l'équation orientée client. Intéressons-nous maintenant à la partie concernant l'utilisation en interne.

Transparence et confiance en interne

Même avec les modèles ML actuels, il existe toujours une possibilité que des biais ou des discriminations s'introduisent.

Les données sont souvent biaisées, intentionnellement ou non. L'âge, l'origine ethnique, le sexe, les antécédents médicaux, la situation financière, les revenus, la situation géographique, etc. peuvent causer ces biais. En fait, toute donnée peut introduire des biais, et certains mécanismes empêchent de les utiliser dans les modèles. Il y a toujours un risque que ces données d'entrée influent sur l'apprentissage de l'IA.

En traitant toutes ces informations dans une boîte noire, un modèle ML pourrait produire des résultats favorisant un groupe de personnes plutôt qu'un autre.

En outre, le processus d'entraînement d'une IA n'est jamais tout à fait clair. Par ailleurs, l'entraînement ne reflète jamais les performances en conditions réelles.

Un modèle entraîné avec un jeu de données peut produire d'excellents résultats avec ces données, mais aboutir à des résultats complètement différents avec des données réelles.

En d'autres termes, un analyste ou un data scientist pourrait créer un modèle ML de type boîte noire qui fonctionnerait parfaitement et sans biais pendant l'entraînement, mais qui produirait des résultats biaisés ou médiocres une fois déployé.

De plus, les modèles doivent parfois s'adapter à des changements dans les données ou la réglementation.

Du 18 novembre 2021 au 14 décembre 2021, un rapport de Brookings a montré que 43 règlements étaient en vigueur, en cours d'adoption ou ont été rejetés dans les domaines de la finance, la fabrication, la santé, etc.

Il serait complexe, voire impossible, de s'assurer que les modèles de type boîte noire ont été actualisés en fonction des évolutions réglementaires, et d'expliquer comment ces mises à jour leur ont été appliquées.

L'IA explicable permet aux développeurs d'actualiser et d'améliorer plus facilement les modèles, et de mesurer leur efficacité, tout en respectant les nouvelles réglementations. Elle présente en outre l'avantage d'offrir une bonne retraçabilité des données.

IA interprétable vs IA explicable

Si les modèles ML sont créés par des analystes et des data scientists, ce sont souvent ceux qui occupent des postes de direction et à responsabilités qui doivent en comprendre les résultats.

C'est principalement sur ce point que l'IA explicable et l'IA interprétable se distinguent.

Alors que l'IA explicable est un type d'IA qui vise à rendre les modèles ML plus clairs pour les personnes non spécialistes en data science, l'IA interprétable renvoie à un sous-domaine de machine learning axé sur la transparence et l'interprétabilité des modèles.

Les méthodes d'IA guident le développement et le déploiement de l'IA explicable à travers ces quatre questions clés :

1. À qui pourrait-on avoir besoin d'expliquer les résultats ?
2. Pourquoi devrait-on avoir besoin d'expliquer les résultats ?
3. Quelles sont les différentes façons d'expliquer les résultats ?
4. Qu'est-ce qui devrait être expliqué avant, pendant et après la création du modèle ?

Reprenons notre exemple de modèle ML de recommandation financière. Une entreprise cherchant à mettre au point un modèle d'IA explicable pourrait s'appuyer sur les questions suivantes :

À qui pourrait-on avoir besoin d'expliquer les résultats ? 

• Client
• Manager/Direction
• Organisme de réglementation

Pourquoi devrait-on avoir besoin d'expliquer les résultats ?

• Pour aider les clients à comprendre pourquoi les options d'investissement recommandées sont les mieux adaptées à leur situation
• Pour aider les décideurs à comprendre pourquoi vous recommandez certains plans d'investissement plutôt que d'autres
• Pour assurer la conformité et accélérer les audits

Quelles sont les différentes façons d'expliquer les résultats ?

• Expliquer les recommandations en fonction d'un raisonnement financier et/ou émotionnel
• Montrer la valeur des recommandations centrée sur le client et basée sur l'entreprise
• Montrer que les décisions sont conformes à toutes les réglementations et comment le modèle garantit cette conformité

Qu'est-ce qui devrait être expliqué avant, pendant et après la création du modèle ?

• Pourquoi certaines informations personnelles sont collectées, à quoi elles servent et comment elles influencent les recommandations
• L'importance de créer le modèle et ce qui doit être modifié pour mieux justifier les décisions auprès des clients et de la direction
• La conformité du modèle aux réglementations en vigueur et comment l'adapter pour les nouvelles réglementations

Exemples d'IA explicable

Le plus souvent, l'IA explicable est utilisée dans un contexte réglementaire. Les évaluations des risques, les cotes de solvabilité et les décisions d'indemnisation/remboursement nécessitent en général plus de travail.

Néanmoins, l'IA explicable peut également être utile dans de nombreux secteurs et services, même lorsqu'il n'est pas question de réglementation. En effet, le caractère transparent de l'IA explicable présente de nombreux avantages pour la prise de décision. Ce type d'IA permet notamment :

• De s'assurer que l'analyse des sentiments comprend correctement le contexte et la signification des mots utilisés
• De modifier les prévisions de la demande lorsque de nouvelles données contredisent les données d'entraînement et sont susceptibles de dégrader les performances du modèle
• D'améliorer la précision du diagnostic médical et d'aider à expliquer aux patients comment le diagnostic a été posé
• De prendre des décisions en temps réel en matière de soins médicaux d'urgence et de triage
• D'expliquer les décisions finales d'embauche prises par les services RH
• De fournir des recommandations marketing aux clients et d'accroître la pertinence des messages et des offres
• De recommander leurs prochaines actions aux commerciaux et de calculer leur commission sur les ventes
• D'expliquer le raisonnement sur lequel s'appuient les décisions d'optimisation des prix
• D'ajuster les chatbots du service client en fonction des commentaires et de l'analyse des sentiments

L'IA explicable a encore bien d'autres utilisations, mais ce qu'il faut retenir, c'est qu'elle vous aide à interpréter les résultats complexes produits par les modèles de machine learning. Tout le monde n'a pas besoin de comprendre comment fonctionne un modèle de machine learning, mais il faut pouvoir faire confiance aux résultats produits. Et c'est précisément ce que permet l'IA explicable.

Choisir la bonne plateforme pour l'explicabilité des modèles

Choisir la bonne plateforme ML dépend d'une multitude de facteurs, mais les quatre principaux sont les suivants :

• Qui l'utilisera pour créer des modèles ?
• Qui l'utilisera pour expliquer les résultats ?
• Quel type de données utilisez-vous ?
• De quel type de réponses avez-vous besoin ?

Qui l'utilisera pour créer et déployer des modèles ?

Votre entreprise n'a peut-être pas d'équipe de data science, ni même un data scientist.

Près de 80 % des entreprises ne comptent qu'un seul data scientist parmi leurs effectifs. Par conséquent, la personne qui utilisera votre plateforme sera probablement un analyste ou un spécialiste du savoir.

Vous aurez besoin d'une plateforme à laquelle presque tous vos collaborateurs peuvent accéder et qui leur permet de créer facilement des modèles. Cela vaut non seulement pour votre équipe actuelle, mais aussi pour vos futurs employés.

Les plateformes cloud et sur site avec des interfaces en glisser-déposer (ou no-code/ low-code) offrent la courbe d'apprentissage la plus rapide pour les collaborateurs souhaitant comprendre la data science et la mettre en œuvre.

Les plateformes dotées du ML automatisé (AutoML) aplanissent encore davantage la courbe d'apprentissage en proposant des parcours guidés et des recommandations pour l'utilisation des modèles, ce qui évite d'avoir à comprendre quels modèles et processus mathématiques doivent être utilisés en premier.

Si votre entreprise a une équipe de data scientists dédiée, vous pouvez bien sûr utiliser des plateformes AutoML et no-code/low-code pour accélérer la production, mais votre équipe souhaitera probablement utiliser Python, R ou un autre langage.

Qui l'utilisera pour expliquer les résultats ?

À l'instar de votre équipe d'analystes, vos équipes de direction et de responsables présentent également un large éventail d'expériences et de connaissances.

Votre plateforme devra s'adresser à la fois aux nouveaux managers, qu'ils aient été recrutés ou promus en interne, et aux cadres supérieurs qui interagissent probablement peu avec l'IA explicable.

Les modèles ML qui assurent une bonne retraçabilité des données, des notes pour expliquer les points de données et des explications automatisées faciliteront votre apprentissage et celui de votre équipe.

En outre, les plateformes qui fournissent des résultats de planification et sont capables de convertir des modèles en applications analytiques pouvant être fournies à l'échelle de l'entreprise permettront de faciliter le partage des données et d'accroître la transparence.

Quel type de données utilisez-vous ?

Consultez votre équipe. Demandez à chacun des membres quels types de jeux de données il utilise et comment il les intègre à l'analyse.

L'un des principaux inconvénients concernant le développement de modèles ML provient de l'énorme travail de préparation nécessaire durant les premières étapes.

Les plateformes AutoML qui permettent également d'automatiser l'analytique, notamment la préparation et le nettoyage des données, peuvent considérablement accélérer le processus de déploiement.

Étudiez la façon dont les différentes plateformes gèrent différents jeux et sources de données. La plateforme peut-elle traiter tous ces éléments tels quels ou faut-il préparer davantage les données avant de pouvoir les utiliser ? Avec quelle facilité pouvez-vous répéter le processus si vous utilisez la plateforme dans le cadre de prévisions ou d'autres modèles qui dépendent de données susceptibles d'évoluer ?

De quel type de réponses avez-vous besoin ?

Certaines personnes peuvent attendre une semaine, un mois ou même un trimestre pour obtenir un rapport. D'autres ont besoin de résultats dans la minute.

Plus vous souhaitez obtenir des insights rapidement, plus votre plateforme devra être capable de s'adapter à de nouvelles données et de les intégrer rapidement. Cela inclut les opérations mentionnées précédemment, telles que la préparation et le nettoyage des données.

Tous les modèles d'IA explicable devraient vous aider à répondre aux différentes questions que se posent vos clients, vos collaborateurs et vous-même. Comme nous l'avons évoqué précédemment, plus votre courbe d'apprentissage est brève, plus vite vous pourrez apporter des réponses à vos interlocuteurs.

Enfin, la facilité d'utilisation de votre plateforme ML est également un critère de choix important.