Au cours de ces dernières années, l’intelligence artificielle a vu son utilisation croître de façon exponentielle. Si celle-ci est présente dans de nombreux domaines,  c’est un aspect particulier de l’Intelligence Artificielle qui va nous intéresser ici : l’ XAI (explainable AI). Ce principe désigne la capacité d’une IA ne pas s’intéresser uniquement à l’acuité des décisions qu’elle propose mais également aux raisons qui ont amené cette décision. Cela dans le but de donner à l’utilisateur les moyens de comprendre et d’analyser les résultats. Ce domaine présente, en majorité, deux grandes dimensions : l’interprétabilité et l’explicabilité.

l’explicabilité donne des informations sur le « raisonnement » de l’algorithme de Machine Learning et sur les données qu’il a utilisées. Ces informations sont destinées prioritairement aux experts de l’IA, car elle nécessitent une compréhension des éléments techniques du modèle et de l’analyse des données.

L’interprétabilité pour sa part a pour rôle de fournir l’informations dans un format compréhensible par tous. Il s’agit souvent de « traduire » les explications en éléments « interprétables » par une personne travaillant dans le domaine considéré mais sans connaissances spécifiques en IA.

Notons que ces deux termes sont souvent associés, mais qu’il est important de bien savoir dissociés les Notons que la frontière entre ces deux catégories n’est pas très précise et leurs dénominations sont même parfois inversées. Il est important cependant de garder à l’esprit les différences en termes de cible visée : expert de l’IA ou non.

Pourquoi avons-nous besoin de l’interprétabilité et de l’explicabilité? Ces éléments permettent en premier de renforcer, ou d’instaurer, la confiance des utilisateurs envers l’IA, en montrant sur quels éléments sont prises les décisions et en démystifiant les erreurs des systèmes. Mais ces éléments permettent aussi de répondre aux questions de conformité réglementaire : différents textes réglementaires sont en effet rentrés en vigueur, en Europe et en France notamment, qui imposent des règles sur le traitement des données, pour des raisons éthiques le plus souvent (respect des informations personnelles, lutte contre les discriminations, etc.). Ceux-ci incluent parfois directement la nécessité de pouvoir expliquer sur quels éléments sont basés les décisions. Dans tous les cas, pour pouvoir démontrer le respect, ou non, de ces textes, une approche de type XAI est indispensable.

On distingue trois étapes dans l’explicabilité de l’IA :

En premier lieu, l’explication de la pré-modélisation. Celle-ci permet de comprendre et de décrire les données utilisées pour développer le modèle.

On a ensuite la modélisation explicable qui permet de développer des modèles dits intrinsèques simples.

Enfin, la post-modélisation permet d’extraire des explications afin de décrire les modèles presque développés.

À titre d’exemple, on peut citer les Local Interpretable Model-Agnostic Explanations, autrement dit les LIME. Ces derniers, expliquent une décision donnée (aspect « local ») en modélisant autour de cette donnée les décisions du système IA étudié par un modèle simple et intrinsèquement interprétable. Cela permet « d’expliquer » le comportement du système autour de l’instance (la donnée) d’intérêt.

Pour finir, il faut évoquer SHAP (shapley additive explanations) qui est une approche issue de la théorie des jeux. Cette approche est également « model agnostic » : elle permet d’expliciter les sorties de n’importe quel modèle d’apprentissage automatique. Cette approche est basée sur les valeurs de Shapley. Pour une instance précise qui a amené une décision donnée, les valeurs de Shappley calculent l’importance de chaque « feature » (les caractéristiques de l’entrée) dans la décision. Précédemment cité, les valeurs de Shapley proviennent donc de la théorie des jeux de coalition. Et cette méthode a pour but d’expliquer certaines prédictions individuelles. Finalement, Shapley présente plusieurs propriétés intéressantes telles que l’efficacité ou la symétrie.

Article rédigé suite à une conférence découverte recherche en L1 au CERI.