Les rapports entre mathématiques et mystique chez les mathématiciens russes et leur influence dans l'émergence de la théorie descriptive des ensembles.

Au nom de l'infini est l'édition française de Naming Infinity, ouvrage initialement publié en anglais par Loren Graham et Jean-Michel Kantor et paru en 2009 aux presses Belknap de l'Université de Harvard. Dans ce captivant petit livre les auteurs retracent une page méconnue de l'histoire des mathématiques, l'émergence de la théorie descriptive des ensembles. La version française de l'ouvrage, augmentée d'un chapitre, est en outre assortie d'une belle préface signée par Laurent Lafforgue (professeur à l'IHES, et lauréat de la médaille Fields).

De nos jours la théorie descriptive des ensembles est un domaine de recherche spécialisé qui n'est enseigné qu'à un niveau fort avancé des cursus de mathématiques à l'université, et qui demande que l'étudiant dispose d'un solide bagage en théorie des ensembles et en mathématiques classiques. Tout en mettant à profit leurs connaissances d'historiens des sciences et de mathématiciens, le propos des auteurs dans cet ouvrage n'est pas d'entrer dans les aspects techniques de cette théorie, mais plutôt d'en décrire la genèse ainsi que la destinée des mathématiciens qui en furent les principaux artisans durant la première moitié du vingtième siècle. Comme l'indique fort bien le titre de l'ouvrage, la théorie descriptive des ensembles, issue de l'analyse des fonctions et de la théorie des ensembles, est née d'une réflexion assidue et parfois tourmentée chez les mathématiciens sur la nature même de l'infini mathématique, à partir de la seconde moitié du dix-neuvième siècle. L'enquête de Graham et Kantor, qui les conduit de Paris jusqu'à Moscou, les amène par là même à s'interroger sur la psychologie de la création mathématique, et notamment, dans le cas de l'Ecole russe de mathématiques, sur ses sources religieuses présumées.

À l’origine, la théorie dite descriptive des ensembles est née des travaux de trois mathémaciens français de génie, Emile Borel (1871-1956), René Baire (1874-1932) et Henri Lebesgue (1875-1941), tous trois spécialistes de la théorie des fonctions. Comme l'expliquent fort bien Graham et Kantor dans leur ouvrage, ce "trio français" de mathématiciens, tous issus de l'Ecole Normale Supérieure, œuvre à un moment particulièrement décisif de l'histoire des mathématiques, celui où une génération entière de mathématiciens à travers l'Europe s'interroge sur les fondements qu'il convient de donner à certaines notions jusqu'alors considérées comme évidentes ou primitives en mathématiques.

L'une des figures les plus influentes de la fin du dix-neuvième siècle de ce point de vue fut Georg Cantor (1845-1918), fondateur, avec Richard Dedekind (1831-1916), de la théorie des ensembles. La théorie des ensembles prend son essor dans l'effort produit à la même époque par ces deux mathématiciens pour clarifier la signification des concepts de continuité (chez Dedekind) et d'infini (chez Cantor), en même temps que la notion même de nombre. La notion d'infini qui résulte des travaux de Cantor et Dedekind les conduit, au cours des années 1870 et 1880, à introduire la notion d'ensemble, qu'ils définissent chacun informellement comme étant, dans la définition de Dedekind, "toute collection qui peut être rassemblée en un tout par une loi". Un ensemble est dit infini s'il existe une correspondance permettant d'associer à chacun des éléments de l'ensemble un unique élément au sein d'une partie propre de cet ensemble, et réciproquement. Par exemple, l'ensemble des nombres entiers est infini en ce sens, car il existe une correspondance biunivoque de cet ensemble avec l'ensemble plus restreint des nombres pairs (à 1 on associe 2, à 2 on associe 4, etc.).

Parmi les découvertes décisives de Cantor figure la preuve qu'il existe différents infinis, et en particulier que l'infini des nombres entiers est distinct de l'infini des nombres réels: Cantor prouve qu'il n'existe pas de correspondance biunivoque entre nombres réels et nombres entiers, il existe nécessairement plus de nombres réels que de nombres entiers (l'infini des entiers est dit dénombrable, celui des réels est dit non-dénombrable). De la même manière, il existe en ce même sens plus de nombres irrationnels (comme √2) que de nombres rationnels (comme 2/3 ou 12/37). Cantor est également le premier à proposer une théorie des nombres finis et infinis, cette théorie implique en particulier l'introduction des nombres dit transfinis: l'idée de Cantor est que si l'on désigne par ω la totalité des entiers finis, alors on peut continuer à compter au-delà de ω, à savoir ω +1, ω + 2, etc., puis ω+ω, et ainsi de suite. Enfin Cantor soulève le problème du continu mathématique, celui de savoir s'il existe, entre l'infini dénombrable des entiers et l'infini non-dénombrable des réels (le continu), un autre infini propre, ou si le continu est le premier cardinal infini après le dénombrable (cette dernière hypothèse appelée l'hypothèse du continu). Ce problème, qui aura une importance centrale en logique mathématique au vingtième siècle (et que le logicien K. Gödel en 1947 résume sans détour comme le problème de savoir "combien de points il y a sur une droite dans l'espace euclidien"), est en réalité au cœur de la théorie descriptive des ensembles, et continue de faire énigme encore aujourd'hui.

Les travaux de Cantor eurent un écho considérable à partir des années 1880 et notamment auprès du jeune Emile Borel durant la décennie suivante, par le truchement de l'enseignement de Camille Jordan qui introduit en France les théories de Cantor. Analyste de formation, Borel est amené à s'interroger dans ses travaux sur la définition même qu'il convient de donner de la notion générale de fonction en mathématiques. L'une des questions qui guident Borel est celle de savoir quelles conditions permettent d'assurer qu'une fonction est bien définie. Le cadre ensembliste de Cantor implique en effet qu'on peut désormais s'intéresser à certains ensembles arbitraires de fonctions en tant qu'objets mathématiques à part entière, comme par exemple l'ensemble des fonctions continues d'une variable réelle, l'ensemble des fonctions discontinues de deux variables réelles, etc. L'approche de Cantor implique en outre que toute fonction peut être vue comme un ensemble, qui associe aux éléments d'un premier ensemble (le domaine de la fonction) les éléments d'un second ensemble (son codomaine), faisant du concept de fonction un concept aussi abstrait, à bien des égards, que le concept d'ensemble, mais par là même, susceptible des mêmes difficultés et apories.

Borel dans sa thèse s'intéresse notamment au problème de la mesure des ensembles de points, problème approfondi par ses élèves Baire et Lebesgue quelques années plus tard, dans la thèse de Baire (1899) et dans un article fondateur de Lebesgue sur les fonctions analytiquement définissables (1905), et qui revient en réalité à s'interroger sur le caractère dénombrable ou indénombrable de certains sous-ensembles de l'ensemble des réels. L'originalité de Baire et Lebesgue, à la suite de Borel, est de définir par induction certaines classes de fonctions devant satisfaire des propriétés très générales, de la même manière qui a permis à Borel de définir certains ensembles comme mesurables. Cette étude aboutira à l'idée qu'il existe une hiérarchie des fonctions, telle que certaines fonctions sont irréductibles à d'autres, ou indéfinissables en termes des opérations des fonctions d'abord définies, faisant par là écho aux résultats de Cantor sur la hiérarchie des infinis. Elle permettra par la suite de donner une série de réponses partielles au problème du continu de Cantor pour des ensembles spécifiques de nombres réels, satisfaisant des propriétés de complexité croissante.

Comme le montrent très clairement Kantor et Graham dans leur ouvrage, alors que les travaux de Borel, Baire et Lebesgue sont tous pétris de l'influence de Cantor, ils sont cependant tous empreints de l'idée qu'un objet mathématique n'est bien défini que quand on a "nommé une propriété caractéristique de l'objet " (Lebesgue 1905). On peut d'ailleurs ajouter, à l'appui des remarques faites par les auteurs dans leur livre, que Borel, dans ses Éléments de la théorie des ensembles (1949), ouvrage rédigé à la fin de sa vie, continuera de mettre ce problème en exergue de son traité: "si, lorsqu'on donne un ensemble d'un nombre fini d'objets, il est possible de nommer successivement chacun de ces objets, il n'en est pas de même lorsque l'ensemble est infini. La question se pose donc de savoir de quelle manière doit être défini un tel ensemble, puisqu'il n'est pas possible de le définir en nommant tous ses éléments". Le lien entre définition, nomination, et existence mathématique est d'ailleurs au coeur de la controverse qui engage Borel, Baire et Lebesgue en 1905 face au mathématicien Zermelo concernant l'axiome du choix en théorie des ensembles (le lecteur peut trouver une traduction française des Cinq lettres échangées par Borel, Baire, Lebesgue et Hadamard dans l'anthologie Logique et fondements des mathematiques éditée par F. Rivenc et Ph. De Rouilhan chez Payot en 1992). L'axiome du choix de Zermelo dit que pour toute famille d'ensembles non-vides, il existe une fonction qui associe à chaque ensemble de cette famille un élément de cet ensemble. L'existence d'une telle fonction de choix est problématique, car l'axiome ne dit pas comment sont choisis les éléments au sein de chaque ensemble. L'axiome du choix est justement requis, précisément, lorsqu'il n'existe pas de moyen de nommer les éléments de chaque ensemble de façon à sélectionner les éléments de façon non-arbitraire.

Borel, jusqu'à la fin de sa vie, maintiendra son attitude sceptique face à l'axiome du choix, tout en admettant que les mathématiciens sont libres de poser leurs axiomes, tant que n'en résulte pas de contradiction. Dans leur ouvrage, Graham et Kantor formulent l'hypothèse que le constructivisme teinté de physicalisme de Borel, Baire et Lebesgue en viendra toutefois à tarir l'inspiration cantorienne qui avait guidé leur entreprise initiale. Une dizaine d'années plus tard, cependant, le programme ouvert par Borel, Baire et Lebesgue sera relancé dans un contexte très différent, celui de l'école moscovite de mathématiques fondée par Dimitri Egorov (1869-1931) et Nicolaï Luzin (1883-1950) peu de temps avant la Première Guerre mondiale. Luzin deviendra la figure la plus emblématique de ce cénacle, qui ne tardera pas à s'appeler la "Lusitanie" (ou "Luzitanie") et qui regroupera autour de Luzin et Egorov une génération de mathématiciens extrêmement précoces, parmi lesquels on trouve notamment A. Kolmogorov, P. Alexandrov, M. Souslin ou encore P. Urysohn. Alexandrov, en particulier, âgé de seulement 18 ans, montre en 1915 que les ensembles mesurables au sens de Borel satisfont l'hypothèse du continu. Un an plus tard, un autre étudiant de Luzin, Souslin, découvre dans l'article de Lebesgue de 1905 une erreur passée inaperçue, qui permet à Luzin et Souslin de définir une famille nouvelle d'ensembles, les ensembles dits analytiques, à l'origine de la hiérarchie aujourd'hui appelée hiérarchie projective des ensembles. Luzin et Souslin publient en 1917 leurs premières découvertes, l'année de la Révolution russe.

L'ascendance d'Egorov et de Luzin sur l'Ecole russe de mathématiques pourrait laisser penser qu'au "trio français", il faut faire correspondre un "duo russe", mais la thèse défendue par Kantor et Graham est qu'il faut en réalité parler d'un "trio russe", composé en outre du père orthodoxe Pavel Florensky (1882-1937), savant mystique et polymathe. Florensky fit en effet ses études de mathématiques en même temps que Luzin à Moscou, et une amitié durable s'établit entre les deux hommes. Florensky, en particulier, fut très tôt inspiré par un courant mystique orthodoxe, celui des Adorateurs du Nom, courant qui voyait dans l'adoration du nom de Jésus une manière d'entrer directement en contact avec Dieu (suivant la croyance selon laquelle "le nom de Dieu est Dieu"). Ce courant, propagé au monastère du mont Athos en 1907, fut combattu par la hiérarchie orthodoxe avant d'être violemment réprimé par le tsarisme en 1913, puis de façon indirecte, par les persécutions anti-religieuses du régime soviétique, ainsi qu'il advint à Florensky.

À ce sujet, le récit de Graham et Kantor s'ouvre par un préambule inattendu: la visite de Graham dans l'Eglise Sainte Tatiana la Martyre, église de l'université de Moscou, et la découverte en 2004 dans la crypte des portraits de D. Egorov et P. Florensky, installés de façon éphémère par un inconnu, vraisemblablement en référence à l'attachement d'Egorov et Florensky à ce courant mystique, et laissant penser à sa persistance au sein même de l'Université moscovite. La foi religieuse de Luzin, d'après les sources rassemblées par Kantor et Graham, fut plus discrète mais aurait eu, selon eux, un lien étroit avec la réception même des travaux de Lebesgue. Ainsi écrivent-ils qu' "en insistant sur le fait de « nommer », Lebesgue stimula les mathématiciens russes sensibles à la tradition religieuse de l'Adoration du Nom; il les amena à s'intéresser à la question analogue de la réalité de leur création quand ils découvrirent une nouvelle hiérarchie de sous-ensembles du continus après 1916"   . À l'appui de cette thèse audacieuse, Graham et Kantor mentionnent notamment l'influence exercée par Florensky sur Luzin lors des années 1908-1910, de même que l'intérêt de Luzin pour la philosophie de Plotin, ou encore certaines archives de Luzin, dans lesquelles ce dernier écrit que "nommer c'est avoir un individu" (citation dont le sens exact, toutefois, n'est pas transparent, comme j'y reviendrai ci-après).

Quel qu'ait été le degré réel d'adhésion de Luzin à la mystique de l'Adoration du Nom, il n'en reste pas moins que Luzin, comme peu de temps avant lui Florensky et Egorov, fut persécuté très durement par le régime communiste en raison de ses croyances religieuses. Dès le milieu des années 1920, Egorov fut le premier inquiété, puis accusé en 1930 de "mélanger mathématiques et religion", destitué de ses fonctions de directeur de l'Institut de Mathématiques de Moscou, et enfin incarcéré à Kazan, où il mourut dans des conditions tragiques d'une grève de la faim. Florensky fit l'objet de plusieurs interrogatoires dès la même année, avant d'être finalement déporté puis assassiné en 1937. Luzin enfin dut en 1936 faire l'objet d'une enquête et d'accusations dramatiques venues de plusieurs même d'entre ses anciens étudiants, devenus des mathématiciens confirmés de renommée internationale (ainsi d'Alexandrov, dont la trajectoire intellectuelle est discutée en détail par les auteurs). Le soutien diplomatique discret de plusieurs de ses amis français du milieu scientifique, notamment Borel et Painlevé, et de façon beaucoup plus décisive, l'intercession du physicien Peter Kapitza auprès de Staline, empêchèrent finalement la perte de Lusin, dont l'activité scientifique fut toutefois sévèrement entravée jusqu'à sa mort en 1950.

Sur cet épisode particulièrement sombre des années de purge soviétique, le récit de Graham et Kantor fournit un éclairage douloureux et sans concession, notamment par le portrait peu flatteur qui ressort de l'ingratitude ou de la lâcheté de plusieurs des anciens élèves les plus brillants de Lusin, du reste mathématiciens phares de la génération montante, mais aussi par la description du courage et de la grandeur d'âme d'hommes et de femmes moins célèbres, comme le mathématicien Nikolaï Chebotaryov, qui par respect refusa de reprendre le poste d'Egorov en 1930, et à qui le sort confia, ainsi qu'à sa femme, de faire qu'Egorov pût être inhumé à Kazan. Au-delà de ce récit des terribles années de purge stalinienne et de la dissolution consécutive de la Luzitanie, enfin, l'ouvrage de Jean-Michel Kantor et de Loren Graham dresse un tableau fort instructif de l'Ecole de mathématiques russe et de la postérité d'Egorov et de Luzin en son sein.

Plus généralement, le travail de Jean-Michel Kantor et Loren Graham offre une lecture toujours stimulante, dont l'un des grands mérites à mes yeux est de faire sortir de l'oubli et de mettre en lumière les accomplissements intellectuels extraordinaires d'une génération de mathématiciens à la charnière entre deux époques : qu'il s'agisse, en France, de Borel, Baire et Lebesgue, dont la postérité, entamée par les ravages de la Première Guerre mondiale, a dans une certaine mesure été éclipsée par la relève des jeunes Turcs du groupe Bourbaki ; ou encore, en Russie, d'Egorov et de Luzin, que le séisme de 1917 aura au bout du compte coupés de leurs propres disciples.

Sur un plan plus conceptuel et historique, la thèse principale de Kantor et Graham appelle toutefois des nuances et certaines critiques. L'un des écueils que n'évite pas entièrement le livre est la tentation qui consiste à lier directement tempérament national et causalité dans l'ordre des découvertes scientifiques, porte ouverte à bien des clichés et à une rationalisation excessive de l'histoire. Graham et Kantor préviennent à juste titre qu'il ne "faudrait pas exagérer les conséquences [des] différences culturelles en mathématiques », mais ils concluent néanmoins que: « alors que les Français étaient limités par leur rationalisme, les Russes étaient nourris par leur foi mystique... le contraste entre la froide logique des Français et la spiritualité des Russes n'est pas nouveau"    . Il me semble que les auteurs commettent ici un raccourci qui n'est pas même fortement étayé par leur récit. S'il est permis de penser que la foi de Luzin soutenait dans une certaine mesure sa conception des mathématiques, rien ne permet par exemple d'affirmer qu'Alexandrov, ou même Souslin, les jeunes élèves de Luzin en 1915 et 1916 qui firent faire des progrès significatifs à la théorie, aient été inspirés par quelque élan mystique plus que par leur intelligence conquérante (de même que Sierpinski, mathématicien polonais témoin de la découverte de Souslin et découvreur aux cotés de Luzin). Plus convaincante dans le livre est la remarque qui fait apparaître la dynamique du groupe autour de Luzin et Egorov dans les années 1915-1920, et l'art de confier à de jeunes esprits des problèmes difficiles. Inversement, il est permis de penser que les recherches de Lebesgue dans le domaine de la théorie descriptive des ensembles se soient essouflées non pas du fait d'un rationalisme trop contraint, mais à l'inverse, en vertu même de l'erreur que Lebesgue n'a pas décelée dans son propre article de 1905. De mon point de vue, l'erreur mise en évidence par Souslin est un bel exemple de sérendipité en science, et cet accident contingent explique peut-être bien davantage de choses que l'opposition supposée entre l'âme russe et le rationalisme français. Dans un monde contrefactuel peu lointain, qui sait, un étudiant de Lebesgue eût-il pu déceler l'erreur et faire accomplir des progrès significatifs à la théorie initiée par son professeur...

Une autre raison de scepticisme à mes yeux concerne le lien plus central que voient les auteurs entre l'Adoration du Nom et l'usage même du verbe "nommer" chez Borel, Lebesgue et enfin Luzin. Les auteurs n'accordent-ils pas une importance excessive à ce qui pourrait relever d'une simple coïncidence lexicale ? Comme le soulignent très justement Graham et Kantor, "nommer" chez Borel et Lebesgue est utilisé de façon synonyme de "définir à l'aide d'un nombre fini de mots". Cet usage du verbe "nommer", il convient cependant de le souligner, est aujourd'hui tombé en désuétude. Or les citations données des archives personnelles de Luzin ne permettent pas à mon sens d'affirmer aussi clairement que le font les auteurs que Luzin ferait un usage plus chargé de mystère du mot "nommer" que celui qu'en font Borel ou encore Lebesgue. Il faut souligner, à ce propos, que Luzin a publié directement en langue française un grand nombre de ses articles sur le sujet, de même que la plupart des mathématiciens russes à la même époque, et qu'il était très familier des textes des mathématiciens français sur cette question. Par exemple, dans un article à caractère philosophique de 1929 paru en français et intitulé "Sur les voies de la théorie des ensembles", Luzin écrit : "La question est maintenant de savoir s'il existe ou bien si l'on peut nommer une correspondance analogue entre l'ensemble des nombres réels [ 0 ≤ t ≤ 1 ] et la totalité de tous les nombres transfinis de seconde classe […], cette dernière totalité étant supposée légitime". Dans cette occurrence du verbe "nommer", il me semble que le mot est utilisé exactement comme synonyme de "définir", tout comme chez Borel et Lebesgue, or Luzin ne fait que redécrire le problème du continu de Cantor tel que l'a notamment exposé Hilbert. Le même article, dans lequel Luzin compare les points de vue de Hilbert et Brouwer sur la philosophie des mathématiques, fait d'ailleurs paraître un Luzin plus fervent partisan de Hilbert que de Brouwer, et beaucoup plus proche à bien des égards de la "prudence" mesurée de Borel que de la "hardiesse" (sic) déjà proverbiale du mathématicien hollandais. La lecture de cet article, à mes yeux, tempère donc de beaucoup la dichotomie entre le rationalisme prêté aux mathématiciens français et le mysticisme attribué à Luzin.

J'ajoute que Borel lui-même, au paragraphe 65 des Éléments de la théorie des ensembles, discute plusieurs remarques de Luzin sur la "définition des êtres mathématiques", qui indiquent que Luzin (épelé "Lusin" sous la plume de Borel), dans ses Leçons sur les ensembles analytiques et leurs applications, distingue avec précaution quatre sortes d'existence, à savoir "l'existence au sens de l'axiome de Zermelo" (l'axiome du choix), "l'existence basée sur la considération des nombres transfinis de seconde classe" (les ordinaux transfinis dénombrables), "l'existence démontrée par la méthode de la diagonale" (la méthode utilisée par Cantor pour prouver le caractère indénombrable des réels), et enfin "l'existence constructive". Borel rend explicites les divergences qu'il a avec Luzin sur les trois premiers modes d'existence mentionnés par Luzin, et ce point vient indéniablement à l'appui de la thèse selon laquelle Borel voyait des limites que ne s'imposait pas Luzin touchant les critères d'existence en mathématiques. Malgré cela, les distinctions établies par Luzin et recensées par Borel indiquent qu'il serait hâtif d'attribuer à Luzin l'audace consistant à inférer que quelque chose existe dès qu'on donne un nom à cette chose (Luzin était par ailleurs suffisamment averti des paradoxes menaçant la validité de certaines définitions, comme dans le cas du paradoxe de Richard qu'il mentionne dans son article de 1929). Il me semble par conséquent plus prudent de penser qu'en affirmant "nommer c'est avoir un individu", Luzin ne disait rien de plus que "définir à l'aide d'un nombre fini de mots, c'est définir un individu possible", laissant à la nature spécifique de la méthode de définition la question de savoir si cet individu existe réellement ou pas.

À la fin du livre, Graham et Kantor soulignent : "en affirmant que le mysticisme a aidé les mathématiciens russes à développer la théorie descriptive des ensembles, nous avons dû surmonter nos préventions personnelles. […] Nous croyons plus à la rationalité qu'à l'inspiration mystique"   . Mon sentiment de lecteur, toutefois, est que Luzin mathématicien aurait lui-même probablement souscrit à cette dernière affirmation. N'est-il pas plus vraisemblable que Luzin, comme nombre d'autres savants, ait avant tout tiré de sa ferveur religieuse une forme de constance morale personnelle, nécessaire à la poursuite de ses travaux scientifiques, beaucoup plus qu'une inspiration de contenu touchant la représentation qu'il pouvait se faire des objets et des définitions mathématiques ? Il est possible que je sous-estime ici l'influence exercée par Florensky sur Luzin, mais la question mérite en tout cas d'être posée.

En dépit de ces réserves de caractère déflationniste, lesquelles expriment avant tout certaines divergences d'interprétation, le livre de Jean-Michel Kantor et Loren Graham n'en demeure pas moins un récit fort plaisant et très informé, et une enquête qui offre au lecteur, y compris au non-mathématicien, une peinture vivante et singulière des destinées de la théorie du continu mathématique à travers l'Europe, des années 1870 jusqu'aux années 1930