CMI 2I2A

Imaginez ce scénario : vous participez à une course de 10 km.

• Vous parcourez les 5 premiers kilomètres à une allure de 12 km/h.
• Épuisé, vous traînez sur les 5 derniers kilomètres à seulement 8 km/h.

Quelle a été votre vitesse moyenne sur l’ensemble de la course ? L’instinct nous souffle immédiatement 10 km/h ((12+8)/2). Et pourtant… c’est faux.

Le piège de la moyenne classique

Si l’on calcule le temps réellement passé sur le bitume :

1. Les 5 premiers km prennent 25 minutes.
2. Les 5 derniers km prennent 37,5 minutes.
3. Temps total = 62,5 minutes.

Votre vitesse réelle est de 9,6 km/h. Pourquoi ? Parce que vous avez passé beaucoup plus de temps à subir vos 8 km/h qu’à profiter de vos 12 km/h. La moyenne arithmétique classique ignore cette réalité temporelle. Pour obtenir le vrai résultat, il faut utiliser la moyenne harmonique.

---

L’héritage de van Rijsbergen : Quand le F1 entre en scène

En science des données, nous utilisons cette même logique pour évaluer nos modèles via le Score F1. Cette métrique a été popularisée par Cornelis Joost « Keith » van Rijsbergen, un pionnier de la recherche d’information, dans les années 70.

La précision répond à la question : « Parmi tous ceux que le modèle a déclarés positifs, combien le sont réellement ? » et le rappel à la question « Parmi tous ceux qui sont réellement positifs, combien le modèle a-t-il réussi à en capturer ? ». Les deux mesures sont des ratios, des pourcentages.

Keith cherchait une « fonction d’efficacité » capable de combiner la Précision (P) et le Rappel (R). C’est ainsi qu’est née la famille des mesures F, où le chiffre « 1 » signifie que l’on accorde une importance strictement égale aux deux piliers.

$F_1 = 2 \times \frac{P \times R}{P + R}$

Tout comme pour votre course à pied, le Score F1 est « pessimiste » : il est tiré vers le bas par la valeur la plus faible. Si votre modèle a une excellente précision mais un rappel catastrophique, le F1 s’effondrera pour vous avertir que quelque chose ne va pas.

---

Au-delà du F1 : La puissance du paramètre Beta (β)

Le score F1 est un excellent compromis, mais dans la vraie vie, toutes les erreurs n’ont pas le même poids. C’est là que la formule de van Rijsbergen révèle tout son génie grâce au paramètre β :

$F_\beta = (1 + \beta²) \times \frac{P \times R}{(\beta² \times P) + R}$

Le β est un curseur qui permet de pondérer l’importance du Rappel par rapport à la Précision.

Le dilemme de la Cour d’Assises : L’exemple du F0.5​

Prenons un jugement en Cour d’Assises. Deux erreurs sont possibles :

1. Le Faux Négatif : On acquitte un coupable. Résultat : 1 coupable est en liberté.
2. Le Faux Positif : On condamne un innocent. Résultat : 1 innocent est en prison ET le vrai coupable est toujours en liberté.

Dans notre système judiciaire, on considère qu’il vaut mieux libérer plusieurs coupables que de condamner un seul innocent. L’erreur « Faux Positif » est jugée bien plus grave.

Pour traduire cette éthique, on utilise un β=0,5. En injectant 0,5 dans la formule, on obtient le F0,5​. Le poids de la Précision devient alors prédominant : on veut être absolument certain que celui qu’on condamne est coupable, quitte à ce que le Rappel (la capacité à attraper tous les coupables) diminue.

À l’inverse, en diagnostic médical, on utilisera souvent un F2​ (β=2) : on préfère déclencher une fausse alerte (privilégier le Rappel) plutôt que de passer à côté d’une maladie grave.

---

Conclusion : Choisir son curseur, c’est choisir ses valeurs

Le score F1 n’est pas qu’une simple formule mathématique ; c’est le reflet de nos priorités. En abandonnant la moyenne arithmétique pour la moyenne harmonique, nous acceptons une vérité fondamentale : la performance globale d’un système est limitée par son maillon le plus faible.

Mais n’oubliez jamais : le « 1 » du F1 est un choix, pas une obligation. Que vous soyez coureur, médecin ou juge, c’est à vous de régler le paramètre Beta pour aligner votre technologie sur vos valeurs et sur les risques réels de votre mission.

Au risque de contrarier les « futurologues » qui vous conseillent de ne plus faire d’études, parce qu’il faut vivre avec son temps et avec les chatbots proposés par les giga-entreprises de l’IA générative, je pense au contraire qu’il est plus que jamais nécessaire de permettre à une plus grande proportion de la population de poursuivre des études plus longues. C’est même précisément à quoi devraient servir les gains de productivité rendus possible par des IA conçues pour servir l’humanité et non pour l’asservir.

Pourquoi avons nous plus que jamais besoin d’experts humains ?

Utiliser une intelligence artificielle comme conseiller ou comme prof est le pire usage qui soit : l’effet Dunning-Kruger, bien connu des psychologues, explique que moins on connaît un sujet, plus on a tendance à se croire compétent. Et les chatbots amplifient ce travers : leurs phrases bien tournées donnent confiance, même quand elles racontent des absurdités. Il est tellement fréquent de confondre fluidité du discours et justesse du savoir.

Les chatbots ne se contentent pas de commettre des erreurs que l’on peut corriger soi-même ou demander à de véritables experts de corriger. Toute la connaissance humaine qu’ils ont ingurgité durant leur phase d’entraînement, aussi impressionnante soit-elle, n’est pas toute la connaissance humaine. Et il est faux de dire que le RAG ou l’utilisation d’agents répondent complètement à ce problème : on peut bien sûr inclure dans un prompt des connaissances qui n’étaient pas présentes dans le jeu de données d’entraînement, mais cela n’a aucun effet sur les paramètres du modèle, c’est-à-dire sur cette pâle imitation de notre système cognitif qui catégorise, généralise, spécifie et prédit.

Nous avons tous des angles morts dans notre connaissance et dans nos aptitudes. Mais ce n’est pas en soi un problème, car nous avons cette capacité de nous associer pour combler nos lacunes. Par contre, si nous déléguons nos capacités intellectuelles à une poignée de chatbots IA qui partagent tous les mêmes angles morts, l’accident devient inévitable.

L’avenir n’appartiendra pas à ceux qui croient tout savoir grâce à l’IA, mais à ceux qui savent encore apprendre, douter, penser par eux-mêmes et avec les autres.

Depuis les années 50 (par exemple : Autocode) les conceptrices et concepteurs de langages informatiques inventent et définissent ces langages artificiels, formels, non ambigus, issus des mathématiques et d’une de ses branches : la théorie des langages. Décennies après décennies, ces langages ont évolué pour simplifier, condenser de plus en plus la description des « algorithmes », ces procédés pour traiter efficacement de l’information numérique ou symbolique. Ces progrès techniques ont permis d’augmenter considérablement la productivité de celles et ceux qui écrivent les logiciels que vous utilisez quotidiennement, y compris sur vos téléphones, vos véhicules, etc.

Ces langages sont aussi conçus pour être automatiquement « interprétables » par une machine. Par exemple, en écrivant un programme, appelé « compilateur » qui se charge de traduire automatiquement le langage « source » en langage « machine ». Le langage « machine » est en effet le seul que le processeur peut directement « exécuter », c’est à dire transformer en des séquences de divers signaux électriques envoyés aux différents circuits électroniques qui composent une unité centrale de calcul (CPU). Et ce n’est pas une « bonne vieille » méthode, qui serait aujourd’hui obsolète. Quand votre copilote, fondé sur un modèle de langue auto régressif (on dit aussi prédictif ou génératif) produit automatiquement du code source à partir de votre demande exprimée dans votre langue naturelle, c’est bien toujours du langage machine qui est décodé et exécuté en définitive par votre CPU, votre FPU, votre GPU, votre NPU¹.

Or, on doit à Larry Tesler (1945-2020), le célèbre inventeur du « copier-coller », cette définition de l’intelligence artificielle citée par (Hofstadter, 2008, p. 674²) : l’IA c’est « Tout ce que les machines n’ont pas encore fait » . Suivant cette définition, le premier compilateur écrit en 1952, pouvait être à cette époque considéré comme une IA, non ?

Reste que jusqu’en 2022, avec l’arrivée du fameux Alphacode de l’entreprise DeepMind³, on n’envisageait pas vraiment de traduire automatiquement une langue naturelle en langage informatique. Car même lorsque l’on est très expérimenté, il arrive encore que l’on soit surpris par l’exécution d’un programme que l’on a écrit soit même, car le CPU fait exactement, strictement ce qu’on lui a demandé. Mais ce qu’on lui a demandé n’est pas forcément ce qu’on avait l’intention de lui demander. On s’est mal exprimé et l’on remarque un bug. Cela fait bien longtemps que les insectes ne provoquent plus de court-circuits dans les transistors qui composent nos unités centrales et on est bien obligé d’admettre que ce n’est pas la machine qui a buggé, comme on le dit abusivement, mais nous mêmes.

Le fait est que nous traduisons nos pensées dans une langue naturelle qui est complexe, riche, ambigüe, contextuelle, culturelle, implicite, etc. Même en faisant en sorte que nos énoncés soient le moins ambigus possible, il y a toujours des personnes ou des situations dans lesquelles nos propos sont « mal interprétés ». Alors s’il s’agit de s’adresser dans cette langue à un réseau de circuits électroniques…

Et pourtant, oui : il est aujourd’hui possible de passer automatiquement d’une demande exprimée en langue naturelle à un code source informatique. Et oui: dans certaines conditions, cela peut permettre de faciliter et d’accélérer encore la production de logiciels. Mais cela n’est pas sans risque⁴…

1. C: Central ; F: Floating Point ; G: Graphical ; N : Neural ; PU : Processing Unit ↩︎
2. Hofstadter D.R., Gödel, Escher, Bach : les brins d’une guirlande éternelle, Paris, Dunod, 2008 (édition originale, New York, 1979). ↩︎
3. https://arxiv.org/pdf/2203.07814 ↩︎
4. https://cmi-2i2a.univ-avignon.fr/index.php/2024/12/12/copilot-est-il-un-bon-copilote/ ↩︎

Hier soir, je regardais très distraitement l’épisode de « Faites entrer l’accusé » sur Chantal Ternik, quand un avocat a retenu mon attention avec cet énoncé :

La fille ainée [de Chantal] était devenue un peu la mère de ses deux frères.

Je trouve vraiment magique qu’un cerveau humain inattentif soit capable à la fois de comprendre instantanément, sans effort et sans erreurs une phrase aussi complexe tout en ayant vaguement conscience des pièges qu’il a machinalement évités.

Dans « la fille ainée de Chantal », on comprend que Chantal est la mère de X et que X est une femme. Par défaut, on considère que la relation « mère de » fait référence à un grand nombre de sous-relations : hérédité génétique, rapports légaux (droits et devoirs), liens affectifs, éducatifs, etc.

Jusqu’ici, tout va bien.

La suite est plus déroutante car, au regard de la loi de la plupart des pays, comme au regard de l’évolution des espèces, on ne peut pas être « un peu » le parent de quelqu’un. Il y a bien une alternative, mais elle est binaire : on est parent ou on ne l’est pas. Enfin, il ne nous paraît pas possible qu’une personne puisse « devenir » la mère biologique d’enfants déjà nés, qui plus est d’une autre mère et qui se révèle, par-dessus le marché, être la sienne. Nos arbres généalogiques imploseraient dans cette stupéfiante mise en abîme.

Notre cerveau doit donc trouver très rapidement une issue à cette crise : il en déduit que la première référence à la maternité est biologique ou légale, mais que la deuxième évocation ne fait cette fois référence qu’aux seules éducatives, affectives et de protection. Et là, les pièces du puzzle s’agencent parfaitement : la fille ainée de Chantal est donc ce qu’on appelle une « mère de substitution » pour ses deux frères.

C’est magique.

Le revers de la médaille, c’est que si notre cerveau est si bien entraîné à faire ce genre de calculs, c’est parce qu’il discute en permanence avec d’autres cerveaux dotés des mêmes superpouvoirs. Donc, la plupart du temps, nous n’avons pas besoin d’être très précis et explicite pour nous faire comprendre de nos semblables. De nos semblables. Pas des machines que nous avons conçu.

En effet, si nous avons réussi à doter nos ordinateurs de superpouvoirs que nous ne possédions pas, nous peinons encore leur transmettre ceux que nous possédons.

C’est pourquoi tout au long de vos études en informatique, vous devrez déployer beaucoup d’attention, d’entraînement et de patience pour vous faire comprendre de vos machines. Bon courage et bonne rentrée 2023-2024 à toutes et tous !