Une introduction à l’éthique de l’I.A. et des algorithmes souligne la nouveauté de ces outils en refusant le terme de révolution et en les inscrivant dans une continuité historique. historique.

L'ouvrage intitulé Éthique des algorithmes et de l'Intelligence Artificielle propose une introduction à l’éthique de l’Intelligence Artificielle (dorénavant IA), issu d’un cours dispensé par Maël Pégny à destination d’étudiants en philosophie non-spécialistes en informatique.

La petite histoire du domaine de l’IA est désormais connue de tous tant les ouvrages sur le sujet sont nombreux. Mais une fois les données historiques élémentaires rappelées, les auteurs du genre sont souvent rattrapés par la mythologie. Ils sont victimes du « Syndrome Skynet », du nom de l’IA dominant le monde dans la saga « Terminator ». Autrement dit, la réflexion est rendue impossible par la crainte infondée du développement prochain d’une IA générale. Il s’agirait d’un système dont l’intelligence serait aussi polyvalente que la nôtre et qui pourrait développer des émotions ou des volontés autonomes. Or, aucun programme de recherche visant l’élaboration d’un tel système n’existe à ce jour.

Pour réussir à comprendre les enjeux véritables, il faut commencer par s’écarter des grands mythes qui, à l’image de celui-ci, alimentent peur et fascination. Un autre écueil est de n’aborder ces outils qu’en termes de révolution sans saisir les continuités historiques fortes qui permettraient de les comprendre. Enfin, comprendre ces enjeux implique de maintenir une distinction entre IA et algorithmes confondus par le grand public. L’intérêt de ce livre est d’éviter tous ces écueils en adoptant une approche originale qui fait de l’IA un phénomène prolongeant celui de la bureaucratie.

Un prolongement de la bureaucratie ?

Aborder le champ des algorithmes et de l’IA dans les simples termes d’une révolution prive la réflexion d’outils pertinents pour en saisir la portée éthique et politique. Algorithmes et IA sont des techniques cognitives qui, à l’image de toute technique, ne sont compréhensibles que dans un contexte social appelé « complexe socio-technique ». L’expression « technique cognitive » désigne toute technique qui est uniquement destinée à la mémorisation, à la communication ou au raisonnement. L’approche en termes de « complexe socio-technique » permet de souligner que les techniques agissent toujours de concert avec un environnement social déterminé et que leurs effets ne sont pas dus à leurs seules propriétés intrinsèques. Ainsi de l’invention de l’écriture : d’abord outil d’exercice du pouvoir, elle est devenue par sa démocratisation un moyen d’émancipation. Cette double approche permet d’intégrer les algorithmes et l’IA dans l’histoire, plus longue, du phénomène bureaucratique et donc d’inscrire la réflexion éthique dans une tradition critique aux outils bien éprouvés.

L’hypothèse centrale de l’ouvrage, qualifiée « d’hypothèse de long terme », est donc la suivante : « une modification majeure des techniques cognitives comme l’algorithmisation doit se traduire par une modification majeure des pratiques
bureaucratiques sur le temps long ». L’IA et les algorithmes sont, certes, des techniques nouvelles, des techniques de pointe à n’en pas douter, mais croire que leurs enjeux éthiques seraient parfaitement nouveaux ne serait pas seulement se priver d’outils utiles pour les comprendre. Ce serait aussi s’illusionner sur la nature des problèmes qu’ils suscitent. À l’origine des États modernes, l’instauration de la bureaucratie visait à remplacer l’arbitraire du pouvoir des notables locaux, souvent dépourvus de compétences et achetant leurs charges. Elle entendait lui substituer la neutralité et la rationalité des règles édictées par le pouvoir central. Les acquis de la bureaucratisation sont donc l’efficacité et l’équité des systèmes administratifs. Mais la bureaucratisation a un prix : l’opacité (la règle juridique inconnue ou incompréhensible de certains administrés est opaque) et la concentration de l’information.

On retrouve ces mêmes avantages et inconvénients chez les IA et les algorithmes : équité, opacité et concentration de l’information. Ces nouveaux outils soulèvent donc également le problème de la vie privée et de sa surveillance, comme le faisait auparavant l’État. Une différence mérite tout de même d’être soulignée dès à présent : algorithme et IA ne sont pas produits ou contrôlés par la puissance publique la plupart du temps. Une fois le parallèle avec la bureaucratie établi, le livre développe ces trois problèmes : opacité, équité, puis concentration de l’information et vie privée.

L’opacité de l’IA

Les formes d’IA sont très nombreuses. Une définition qui les circonscrive toutes est difficile à obtenir. L’auteur prend donc le parti de restreindre son analyse à la forme d’IA la plus employée à l’heure actuelle : le Machine Learning (dorénavant ML). Traduit en français par « apprentissage automatique », le ML désigne une méthode de programmation dans laquelle un programme, appelé modèle, apprend à accomplir une tâche à partir de données, sans qu’on lui fournisse explicitement les règles à suivre. Il s’agit donc d’entraîner un modèle à partir d’une base de données en lui laissant ajuster automatiquement ses paramètres afin de s’adapter aux exemples rencontrés et réussir sa tâche.
Un premier biais, déjà bien documenté, mérite d’être rappelé. La valeur du modèle dépend de la qualité des données utilisées et de leur représentativité. Si les données ne sont pas représentatives, le modèle héritera et reproduira les biais présents.

Mais le livre insiste davantage sur un autre problème, moins connu, celui d’une opacité encore accrue par rapport à la bureaucratie. L’opacité bureaucratique touchait uniquement le grand public qui ne connaissait pas toutes les étapes des procédures le concernant et qui était incapable de décrypter le jargon juridique dans lequel elles étaient exprimées. Pour Pégny, l’opacité toucherait à présent les experts eux-mêmes. Deux aspects de cette opacité retiennent particulièrement l’attention. La longueur des programmes concernés conduit à ce qu’ils ne puissent plus être relus intégralement par des sujets humains. On parle d’« opacité épistémique ». De plus, les instructions que comprennent ces programmes n’ont parfois pas de sens pour un lecteur humain. Dans ce cas, l’« opacité » est « représentationnelle ».

Bien que le champ de l’IA ait pris, pendant un temps, pour modèle l’intelligence humaine, ce n’est plus vraiment le cas et les formes d’« intelligences » produites ne sont plus du tout anthropomorphes. Face à cette opacité, des solutions sont recherchées notamment avec le mouvement Explainable AI (« IA explicable » en français) qui met en place des tests en « boîte noire » pour comprendre le fonctionnement de ces systèmes opaques en eux-mêmes. Ces tests, consistant à identifier et répertorier les sorties possibles suivant l’entrée donnée au système, constituent de véritables tentatives de résistance et de transfert de pouvoir face à cette opacité plus marquée encore que celle de la bureaucratie.

Algorithmes et équité

Une forme plus simple de ces nouveaux outils reste l’algorithme. M. Pégny en propose la définition suivante. Il s’agit d’une suite ordonnée d’instructions élémentaires dont l’exécution permet d’accomplir une tâche et d’obtenir, en sortie, un résultat. Pour le distinguer de ce qui serait appelé procédure en langage bureaucratique, on peut ajouter que l’algorithme est écrit en langage mathématique. Il devient un programme lorsqu’il est écrit dans un langage de programmation. Comme l’IA, et comme la procédure bureaucratique formalisée, l’algorithme doit réduire le plus possible la partialité de la décision afin d’assurer l’équité entre tous les individus concernés. À l’origine de toutes ces démarches, on trouve une « anthropologie de la faillibilité » suivant laquelle les décisions humaines, qu’elles soient individuelles ou collectives, sont déterminées par des biais inconscients qu’il faut éliminer. Cette conception anthropologique manque de nuance et les algorithmes eux-mêmes peuvent échouer à atteindre l’équité.

L’analyse de l’algorithme Parcoursup par M. Pégny va dans ce sens. Mais là encore, aborder l’introduction de cette nouvelle plateforme à partir du concept de système socio-technique est la seule possibilité vraiment éclairante pour le débat public. En effet, entre l’ancienne (APB) et la nouvelle plateforme (Parcoursup) il n’y aurait aucune différence technique majeure, selon l’auteur. Le type d’algorithme employé est strictement le même (algorithme de Gale-Shapley). Cependant, il y a une différence juridique fondamentale : l’introduction de Parcoursup repose sur un cadre légal différent : la loi O.R.E. (Orientation et Réussite des Étudiants) qui autorise l’application de critères académiques de sélection dans les filières universitaires. Mettant un terme au tirage au sort pour l’accès aux filières universitaires en tension, pratique qui va à l’encontre de toutes nos intuitions méritocratiques de justice et d’équité, l’algorithme se heurte pourtant à des difficultés de grande ampleur.

Selon Pégny, trouver un critère pertinent afin de classer un très grand nombre de candidats (parfois plusieurs milliers) n’est pas une mince affaire. Par exemple, selon l’auteur, le critère académique de la moyenne pondérée serait difficile à appliquer. Il impliquerait d’exprimer la moyenne du candidat à trois décimales près ce qui ne rendrait pas vraiment compte de différences significatives de niveau justifiant la sélection. En faisant intervenir le nouvel algorithme, atteint-on une forme indiscutablement supérieure d’équité ? Pas nécessairement, selon l’auteur. Pour autant, l’algorithme n’est pas en cause. Ce seraient plutôt les outils épistémiques permettant de classer autant de candidats qui feraient défaut, selon lui. Par cet exemple, le livre montre bien que le problème de l’équité d’un algorithme ne peut être posé qu’en tenant compte du contexte législatif et des critères qu’il met en application. Utiliser ou non ces outils ne suffit pas à soi seul à garantir l’équité ou à la compromettre.

Vie privée et « capitalisme de surveillance »

Enfin, le livre revient sur l’originalité historique de la période contemporaine relativement à la vie privée et à la surveillance. L’originalité du moment que nous vivons tient à quatre facteurs. D’abord, une surveillance de masse a lieu. Elle ne dépend qu’indirectement des États et trouve sa source dans les entreprises. L’asymétrie d’information la plus significative n’est plus tant entre État totalitaire et individus comme au XXe siècle, mais entre entreprises et individus. Deuxièmement, cette surveillance, qui est réalisée par la collecte dissimulée de données, passe beaucoup plus inaperçue. Ensuite, même si la conscience d’être surveillé se développe, elle n’implique pas une modification des comportements individuels. Enfin, le principal moteur économique de nos sociétés ne se situe plus du côté d’innovations techniques conduisant à une amélioration des produits, mais dans une exploitation des données du consommateur afin de lui vendre des biens déjà existants et susceptibles de le satisfaire.

Les entreprises chercheraient plus à investir dans des technologies qui assurent de meilleurs débouchés aux gammes existantes que dans l’amélioration de leurs produits. Notre époque serait celle du « capitalisme de surveillance » et aurait pour mot d’ordre « surveiller et vendre », non pas « surveiller et punir ». Le pouvoir donné par ces techniques ne semble pas encore chercher à se traduire sous une forme autoritaire.

Mais, on le voit, l’utopie naïve des pionniers d’internet semble s’être transformée en système bureaucratique inédit où surveillance et opacité, sans gain nécessaire d’équité ou montée en valeur des produits, ont pris le pas sur le rêve d’une liberté affranchie des contraintes de l’État. La vertu du livre de M. Pégny est ainsi de souligner ce constat dans toute sa nuance sans succomber aux rhétoriques de la peur ou de la fascination si préjudiciables à la réflexion. Certes, mais l’allégeance initiale du secteur de la « tech » au président Trump ne confirmerait-elle pas les craintes des plus pessimistes ?