« Copilot » est-il un bon copilote ?
Aujourd’hui, la meilleure IA pisseuse de code produit en quelques secondes des lignes qu’un étudiant moyen de niveau bac+1 ou +2 aurait produit en plusieurs heures. Avec le même niveau de « qualité ». C’est à dire que ça ne marche pas. Dans le meilleur des cas, ça marche au début, mais toute modification entraînera son lot de bugs à corriger. Par exemple, des constantes sont hardcodées un peu partout. Des variables qui auraient du être liées ne le sont pas, etc. Bref : le vers est dans le fruit, lowcost => shortlife !
Désolé petit padawan : pour chevalier Jedi devenir, sabre laser il te faudra , mais pour toi-même apprendre à ne pas blesser, beaucoup de temps et force tu auras besoin.
Un code de bien meilleure qualité peut être produit par un bon étudiant bac+3 ou +4, mais toujours en plusieurs heures. Au prix d’un travail bien moins agréable, ce bon étudiant peut décider de faire produire un 1er jet par une IA, prendre le temps de corriger soigneusement le code « prédit ». Il aura économisé quelques heures de travail, essentiellement sur la recherche des modules pertinents et sur la documentation du code.
Voilà où l’on en est.
Par ailleurs, connaissant le paradigme sur lequel est fondé le Machine Learning, il est bien plus probable que la qualité du code produit par les IA ait une tendance à se dégrader plutôt qu’à s’améliorer.
Le paradigme est le suivant : plus gros le dataset d’apprentissage, meilleure la prédiction. Cependant, Copilot, GPT ou Claude ne cherchent pas à prédire le meilleur code, mais à produire le code le plus banal. La meilleure prédiction de code est donc la prédiction du code de qualité la plus moyenne. Donc de niveau bac <+2.
Comme le % de code produit par des IA prédictives sur Github augmente de jour en jour, ces dernières vont prédire de mieux en mieux du code de qualité de plus en plus moyenne.
Conclusion : oui, l’IA prédictive et générative peut augmenter la productivité des développeuses et développeurs de bon niveau. Mais je ne suis vraiment pas convaincu qu’elle augmente aujourd’hui ou dans le futur la productivité des débutantes et débutants.