La préhistoire

L’infini offre peu de prise à l’expérience immédiate. Des myriades de brins d’herbe dans un pré, c’est un nombre très grand, mais pas infini. On trouverait une image plus suggestive dans les figures en abyme ou deux miroirs face à face. Mais même dans ces cas on poursuit en imagination un processus dont on ne perçoit effectivement que les premières étapes. L’infini cependant est présent dès qu’il y a mathématique. Les Grecs déjà l’avaient rencontré. Par exemple, Zénon d’Elée (V^e siècle avant J.-C.) avec ses paradoxes sur la divisibilité à l’infini d’un segment de droite, les Pythagoriciens (VI^e siècle avant J.-C.) avec leur découverte de l’incommensurabilité de la diagonale du carré, Eudoxe (début du IV^e siècle avant J.-C.) dont la théorie des proportions permet de traiter de tels incommensurables (livre V d’Euclide), Aristote (IV^e siècle avant J.-C.) pour qui le continu est « divisible à l’infini en puissance » (livre III de la Physique), Archimède (III^e avant J.-C.) dans ses techniques de rectification et de quadrature.

Les mathématiciens grecs butent donc sur l’infini en cherchant à mesurer des grandeurs ou en voulant définir le continu. Ce faisant, il le conçoivent généralement de manière négative ou privative : apeiron s’oppose à peiron comme l’illimité au limité. On ne peut dénombrer l’infini. L’infini c’est, dit Aristote, « ce qui ne se laisse pas parcourir et n’a pas de limite ». N’ayant pas de limite, il ne peut être « déterminé » et n’existe pas en soi. Si quelque chose comme une substance, c’est-à-dire un être « entier et achevé », était infinie, ne devrait-on pas dire que ses parties aussi sont infinies ? Et ne serait-on pas alors conduit à reconnaître qu’un infini — celui du tout — est plus grand qu’un autre — celui d’une de ses parties ? On a là les deux principes qui empêchent de concevoir un infini en soi ou, comme dit Aristote, « en acte » : l’axiome, énoncé par Euclide au premier livre des Éléments, que le tout est plus grand que l’une quelconque de ses parties, et l’assomption qu’il ne saurait y avoir plusieurs infinis dont certains seraient plus grands que d’autres.

Aristote admet la nécessité de penser l’infini, puisqu’il se manifeste dans la divisibilité des grandeurs, dans l’augmentation indéfinie des « unités », dans le mouvement sans commencement ni fin des sphères célestes. Mais pour se garder des apories, il dénie toute existence physique à l’infini. Selon lui, le mathématicien a besoin d’envisager des grandeurs plus grandes ou plus petites que toute grandeur donnée, mais nullement de considérer des totalités infinies en acte, déterminées bien que non limitées. Déterminé ne va pas avec infini. Si le concept mathématique d’infini relève bien de la catégorie de la quantité, c’est seulement en tant qu’infini potentiel, c’est-à-dire quantité qui peut devenir toujours plus grande ou plus petite sans que jamais ce devenir se transforme en entité « actuellement infinie ». Cette victoire conceptuelle de l’infini potentiel sur l’infini actuel traversera les siècles pour parvenir jusqu’à nous, malgré le recul décisif qu’elle subit au XIX^e siècle avec la théorie cantorienne des ensembles infinis.

Pourtant, dès l’Antiquité se fait jour une conception moins négative de l’infini. Henri Lebesgue (1875-1941) observe avec un certain humour qu’« Archimède n’avait pas eu tort de consacrer un long travail au dénombrement des grains de sable puisque, comme il l’avait lui-même noté, il y a des collections infinies ». Plus tard, Pappus (vers 300 après J.-C.), Proclus (5^e s. après J.-C.), Al Kindi (9^e s.) Al Nayrizi (9^e -10^e s), Thabit ibn Qurra (9^e s.), Avicenne (10^e s.), et d’autres encore ont discuté ou modifié la conception d’Aristote. Les uns pensent que l’infini ne peut être objet d’intelligence ou de mesure, mais l’admettent malgré tout, non pour lui-même mais « en vue du fini », comme dit Proclus. D’autres, résolument infinitistes, acceptent qu’un infini puisse être plus grand qu’un autre ; ainsi l’ensemble des nombres entiers positifs, comparé à celui des entiers pairs. Thabit ibn Qurra soutient cela et ajoute que l’ensemble des entiers pairs et l’ensemble des entiers impairs constituent un cas d’égalité de deux infinis. Les questions débattues se ramènent, du point de vue mathématique, aux suivantes : y a-t-il un infini ou plusieurs ? S’il y en a plusieurs, comment les distinguer ? Comment les comparer ? Un infini peut-il être plus grand qu’un autre ? Quand peut-on dire égaux deux infinis ? Si on diminue un infini d’une quantité finie, le reste est-il encore infini ? Une partie d’un infini est-elle finie ou infinie ? Peut-on augmenter un infini ? Questions qui ne manquent pas de laisser fleurir les paradoxes.

Le calcul infinitésimal

Ces paradoxes vont grever longtemps la mathématisation de l’infini actuel, tandis que le thème de l’infinité divine va introduire, dès le Moyen-Âge, la conception théologique d’un infini qualitatif comme mode d’être (en acte) d’un Dieu parfait et omnipotent. La perfection de l’Être suprême contrevient à l’idée aristotélicienne de l’infini indéterminé et en puissance, idée solidaire de la conception d’un monde fini. Mais le fait que cette perfection soit qualitative va doubler l’opposition qualité/quantité d’une disjonction exclusive dans le champ de la pensée entre onto-théologie et mathématique. Spinoza, dans une fameuse lettre à Louis Meyer (1663), opposera encore le « vrai infini », celui de la substance indivisible, au « faux infini », l’infini selon le nombre, objet d’imagination.

Du côté mathématique pourtant, la naissance de la physique galiléenne relance l’ouvrage. La nécessité de définir les concepts de vitesse instantanée et d’accélération, de formuler les lois du mouvement, de généraliser le concept de courbe débouchent sur l’élaboration des concepts de fonction et de différentielle ou fluxion. Le calcul infinitésimal, cette « science de l’infini », introduit la considération d’« éléments infinitésimaux » avec une notation spécifique, lettre pointée pour Newton, dx leibnizien que nous avons conservé. On y distingue différents ordres d’infini et on détermine des règles pour comparer l’infini au fini et les ordres d’infini entre eux : un infiniment petit, ajouté ou enlevé à une quantité finie, est négligeable car « incomparablement plus petit » qu’elle ; on ne change pas l’ordre d’un infiniment grand en lui ajoutant une quantité finie : par exemple x + 1000 est du même ordre que x, quand x tend vers l’infini ; un infiniment grand d’ordre inférieur est négligeable devant un infiniment grand d’ordre supérieur, par exemple x devant $x^2$ quand x tend vers l’infini ; un infiniment petit d’un certain ordre est négligeable devant un infiniment petit d’ordre inférieur, par exemple $d^2x$ ou $d^3x$ devant dx.

Une hiérarchie opératoire, fondée sur la rapidité de croissance ou de décroissance des fonctions représentant les infinis, permet ainsi de donner une réponse à quelques-unes des questions envisagées plus haut. Mais toutes les difficultés ne sont pas vaincues, et les paradoxes n’ont pas fini d’intriguer. Galilée avait ainsi considéré la collection des entiers positifs et celle de leurs carrés et constaté que chaque entier a un carré et que réciproquement chaque carré provient d’un entier positif ; il en avait conclu que les relations d’égalité et d’inégalité ne sont pas valides dans l’infini.

Les fictions de G. W. Leibniz (1646-1716)

Dans son Analyse des infinis Leibniz offre « un algorithme nouveau, c’est-à-dire une nouvelle façon d’ajouter, de soustraire, de multiplier, de diviser, d’extraire, propre aux quantités incomparables, c’est-à-dire à celles qui sont infiniment grandes, ou infiniment petites en comparaison des autres ». Mais Leibniz ne remet pas en question la validité de l’axiome euclidien du tout et de la partie, s’efforçant au contraire d’en donner une démonstration. Il se demande donc si le paradoxe de Galilée ne tient pas à ce que l’on considère ces collections comme des touts achevés.

Justement Leibniz conçoit l’infiniment petit ou grand comme des quantités n’ayant pas de consistance en soi et servant d’auxiliaire de calculs avec un résultat final exprimé en termes de quantités finies. Au fond, Leibniz se trouve encore dans l’optique, définie par Proclus à partir d’Aristote, de l’infini considéré seulement « en vue du fini ». Optique solidaire d’un certain substantialisme, qui ne savait comment définir la réalité d’un concept au référent « fluent », sans identité fixe. Un infiniment petit est une quantité « évanouissante », qui est tantôt rien (si on la compare à une quantité finie) et tantôt quelque chose (si on la compare à un infiniment petit d’ordre supérieur) ; un infiniment grand est une quantité asymptotique qui n’atteint jamais la limite infinie vers laquelle elle tend. Ces quantités évanouissantes ou asymptotiques sont, au XVII^e siècle, la nouvelle version, forgée grâce à l’idée de fonction conçue comme quantité variant relativement à une autre, de la doctrine aristotelicienne d’un infini mathématique en puissance et jamais en acte. Aussi les quantités infinies n’ont-elles pour Leibniz que le statut inférieur de « fictions » abrégeant le raisonnement, semblables aux racines imaginaires des équations. Ces fictions sont « bien fondées », car les symboles qui les dénotent n’introduisent aucune irrégularité dans les calculs, une fois ceux-ci restreints aux quantités ordinaires. Mais elles ne sauraient être mathématiquement aussi « réelles » que celles-ci. « Le calcul infinitésimal est utile, quand il s’agit d’appliquer les mathématiques à la physique, cependant ce n’est point par là que je prétends rendre compte de la nature des choses », écrit Leibniz.

Or, Leibniz métaphysicien n’hésite pas à réformer la notion de substance de façon à ce qu’elle admette l’infini en acte. Ce qui est entier et achevé n’est pas forcément fini, ni même infini seulement en puissance ; il peut bien être, il est même toujours infini en acte. « Je suis tellement pour l’infini actuel, écrit Leibniz dans une lettre à Foucher, qu’au lieu d’admettre que la nature l’abhorre, comme on le dit vulgairement, je tiens qu’elle l’affecte partout, pour mieux marquer les perfections de son Auteur. Ainsi je crois qu’il n’y a aucune partie de la nature qui ne soit, je ne dis pas divisible, mais actuellement divisée, et par conséquent, la moindre parcelle doit être considérée comme un monde plein d’une infinité de créatures différentes ». La prudence mathématique, qui confine l’infini du calcul à un rôle purement instrumental et auxiliaire, est contrebalancée par un réalisme métaphysique. Une distinction conceptuelle vaut cependant aussi bien en mathématique qu’en métaphysique. Il y a d’une part l’infini formé de parties, qui n’est ni une unité ni un tout, et « on ne le conçoit comme quantité que par une pure fiction de l’esprit ». En ce sens, « les infinis ne sont pas des touts et les infiniment petits ne sont pas des grandeurs ». Leibniz est très clair ! D’autre part, il y a l’infini sans parties, qui est un mais n’est pas un tout, c’est l’infini absolu ou Dieu, « puissance active ayant des quasi-parties, éminemment, mais ni formellement ni en acte » (Lettre à Des Bosses du 1^er Septembre 1706, Philosophische Schriften, II, p. 315). Leibniz fait voir que même dans le monde physique les parties n’existent pas forcément à l’état d’éléments séparés, tels les fameux grains de sable évoqués par Archimède. La division du continu n’implique pas sa composition à partir d’éléments atomiques. Au fond, Leibniz cherche à concilier une divisibilité infinie en acte avec l’idée que ce processus, se continuant sans fin, ne conduit pas à des éléments minimaux. Ce qui est en acte c’est donc le processus lui-même, qui est infini. Par rapport à Aristote, on a seulement gagné de déclarer logiquement compatibles l’idée d’un processus sans fin et celle d’infini en acte. Mais dans un infini en acte il n’y a pas de parties en acte, ce qui signifie qu’on ne compose quantitativement des infinis que sur le mode de la fiction et non celui de la réalité. En dernière analyse, l’infini en acte existe, mais il n’est pas nombrable : « il n’ y a point de nombre infini, ni de ligne ou autre quantité infinie, si on les prend pour de véritables touts » (Nouveaux Essais sur l’entendement humain, livre II, chap. XVII). Les opérations arithmétiques ne s’appliquent donc qu’à l’infini potentiel. Face à une métaphysique infinitiste, la mathématique leibnizienne se maintient dans la tradition définie par Aristote.

L’infini quantitatif en acte de Bernard Bolzano (1781-1848)

L’histoire moderne de l’infini mathématique commence avec Bernard Bolzano. Sous le titre Les paradoxes de l’infini, ce mathématicien, qui est aussi bien physicien, logicien, philosophe et théologien a écrit une défense et illustration de l’infini actuel, appuyée sur l’idée que les soi-disant paradoxes qui ont traversé les siècles depuis Zénon d’Elée ne résistent pas à une analyse conséquente. Son but principal est de situer le « véritable » infini dans le champ du calcul et de la quantité plutôt qu’en Dieu, et de faire du concept mathématique le fondement de ses homologues physique et métaphysique. Désormais la théologie est subordonnée à la mathématique de l’infini en acte. Et en celle-ci prévaut bien entendu le point de vue quantitatif. Pour Bolzano, Dieu lui-même n’est infini que parce que nous le concevons comme doué de capacités dont chacune a une grandeur infinie.

Bolzano n’est certainement pas le premier à affirmer l’existence positive de l’infini actuel : Thabit ibn Qurra l’avait fait dès le X^e siècle, Grégoire de Rimini au XIV^e siècle et plus récemment Leibniz, auteur favori de Bolzano. Il n’est pas non plus le premier à apercevoir la possibilité de divers infinis inégaux les uns aux autres : Thabit ibn Qurra, Avicenne, Robert Grosseteste, théologien d’Oxford du début du XIII^e siècle, d’autres encore l’ont devancé. Il n’est pas davantage le premier à associer l’égalité de deux infinis à la possibilité d’établir une correspondance biunivoque entre leurs éléments : là encore on peut citer Thabit ibn Qurra et Avicenne. Mais il est le premier à tenter de construire un concept purement mathématique et un calcul systématique de l’infini actuel.

La construction du concept se fait selon un parallélisme assez strict entre fini et infini. Même statut logique : l’infini actuel est aussi peu contradictoire que les concepts familiers de nombre entier, ou de fraction. Même statut mathématique : il existe des ensembles infinis en acte, que rien logiquement n’empêche de concevoir comme des touts achevés. Ainsi l’ensemble des entiers, une droite infinie, et même un segment comportent une infinité d’éléments conceptuellement déterminés et saisissables. Car il n’est pas nécessaire d’énumérer tous ces éléments pour en concevoir la totalité ; il suffit de caractériser celle-ci par une ou plusieurs propriétés : une relation de récurrence simple définit la suite des entiers, la donnée de deux points détermine un segment ou une droite. Même statut ontologique enfin : l’infini actuel est bien réalisé partout, comme le proclamait Leibniz, dans le domaine des choses existantes.

Pour ce qui est du calcul, il repose sur les définitions suivantes : un infiniment grand est ce qui est « plus grand qu’un nombre quelconque d’unités », c’est-à-dire plus grand que n pour tout n appartenant à l’ensemble des entiers positifs ; un infiniment petit est ce dont le multiple par un entier n quelconque est inférieur à l’unité. Ces définitions contreviennent à l’axiome d’Archimède qui veut que pour deux grandeurs inégales il existe toujours un multiple entier de la plus petite supérieur à la plus grande. Bolzano ne remet pas explicitement en question cet axiome. De même, il ne réfute pas expressément l’axiome bi-millénaire du tout et de la partie lorsqu’il considère que les ensembles infinis sont précisément caractérisés par l’existence d’une bijection sur une de leurs parties propres. Aussi ne définit-il pas, comme le feront Richard Dedekind et Georg Cantor, l’égalité de deux infinis par l’existence d’une bijection de l’un sur l’autre. Il s’en tient à affirmer comme spécifique de l’infini une propriété tenue pour paradoxale par ses prédecesseurs. Du point de vue de l’ensemble de leurs éléments, le côté du carré et sa diagonale, la suite des entiers et celle de leurs carrés représentent le même infini. Comment préciser cette identité ?

Bolzano reprend la distinction traditionnelle entre nombre et grandeur, en donnant un sens arithmétique à ce dernier terme, généralement rapporté à la géométrie. Ce qu’il appelle l’ensemble des grandeurs comprend les nombres entiers, les fractions rationnelles, les irrationnelles (qui sont pour lui des grandeurs finies, même si leur expression symbolique comporte un nombre infini de parties comme il arrive pour les grandeurs qui sont limites de séries infinies convergentes), enfin, les grandeurs infinies, celles auxquelles on ne peut assigner ni un nombre entier, ni une fraction, ni une grandeur irrationnelle. En langage moderne on dirait que l’ensemble des grandeurs est une extension par les infiniment petits et les infiniment grands de notre ensemble des nombres réels. C’en est donc fait de l’idée restrictive que les infiniment petits ou grands ne sont que des grandeurs variables décroissant ou croissant à l’infini, et considérées pour cette raison comme des quantités données seulement de façon provisoire et fictive. Les grandeurs infinies sont des quantités véritables, mais elles ne sont pas toujours mesurables. Par exemple, la somme d’une série divergente n’est pas mesurable au sens de Bolzano, c’est-à-dire on ne peut en approcher la valeur ni par un nombre entier, ni par une fraction, ni par une grandeur irrationnelle. En revanche, un infiniment petit, disons du type 1/n avec n tendant vers l’infini, est mesurable, car il a une valeur infiniment voisine de zéro.

Ainsi, convenablement réactivée, l’antique distinction entre nombre et grandeur permet à Bolzano de neutraliser les arguments leibniziens contre l’infini comme quantité mathématique réelle et actuelle. Mais, pas plus que Leibniz, Bolzano ne conçoit l’extension au domaine de l’infini du concept de nombre proprement dit. L’idée de grandeur infinie est parfaitement recevable, mais celle de nombre infini est contradictoire (§ 16 des Paradoxes de l’infini). Si une série infinie convergente a une somme finie, l’ensemble de ses termes n’en est pas pour autant nombrable. Bolzano souligne la dualité de certains objets mathématiques (série convergente, segment de droite, etc.) qui ont une mesure finie tout en étant composés d’un ensemble infini d’éléments. Et il distingue bien l’opération de mesure, qui présuppose le choix d’une unité de mesure et ressortit à la métrique, de l’opération, purement arithmétique, de compter les éléments d’un ensemble. Pour ce qui est de la première opération on se meut toujours au voisinage du fini, puisqu’est mesurable toute grandeur dont la valeur peut être exprimée, de manière exacte ou approchée, par une grandeur finie (nombre, fraction ou grandeur irrationnelle). Pour ce qui est de la seconde, l’effectuer implique d’établir une arithmétique infinie proprement dite, « un comptage de la pluralité infinie en elle-même » (ibid., § 28). Pour cela, il faut définir préalablement l’égalité et l’inégalité de deux grandeurs infinies.

Lorsque Bolzano tente de le faire, il tombe dans le piège du fini : l’égalité est définie par l’identité et l’inégalité par l’inclusion stricte. Ainsi un ensemble E qui est une partie propre d’un ensemble F (ou qui est bijectivement applicable sur une partie propre de F) est « plus petit » que F. Bolzano donne l’exemple de l’ensemble des points du segment [0, 5] de la droite réelle, qui est contenu dans le segment [0, 12] et qu’il estime pour cette raison « plus petit » que lui. Mais E est bijectivement applicable sur F, par l’application qui à x associe 12x/5. Maintiendra-t-on que E et F représentent « le même infini », comme Bolzano l’affirme en analysant, d’un point de vue ensembliste, l’exemple de Galilée ? Ou reviendra-t-on à l’axiome séculaire qui pose l’inégalité du tout et de la partie ? Et à quoi sert d’affirmer qu’il y a une infinité d’infinis, dans l’ordre de l’infiniment petit comme dans l’ordre de l’infiniment grand, si on ne donne pas le moyen de « parcourir » arithmétiquement cette infinité ? Si on refuse d’assigner des nombres à tous ces infinis ? L’œuvre de Bolzano laisse ouvertes ces questions.

Le transfini de Georg Cantor (1845-1918)

Georg Cantor saute le pas. Le premier acte d’établissement arithmétique du transfini est en effet d’affirmer qu’« il y a, après le fini, un transfini..., c’est-à-dire une échelle illimitée de modes déterminés qui par nature ne sont pas finis, mais infinis, et qui cependant peuvent être précisés, tout comme le fini, par des nombres déterminés, bien définis et distinguables les uns des autres » (Œuvres, p. 176). C’est bien la première fois dans l’histoire des mathématiques que l’on parle de nombres infinis ! Du moins de nombres transfinis, c’est-à-dire infiniment grands, car pour ce qui est des nombres infiniment petits, Cantor n’en reconnaît pas l’existence, et il faudra attendre l’analyse non standard pour les voir enfin, en 1966, reconnus comme des entités bien définies.

Les nombres transfinis sont les nombres des ensembles infinis. Cantor est conduit à élaborer la théorie des ensembles infinis en étudiant les points de discontinuité des fonctions représentables par des séries trigonométriques convergentes. Dans le cadre de ce travail, il définit les nombres réels par des suites de Cauchy de nombres rationnels et formule l’axiome de correspondance bijective entre nombres réels et droite du plan, représentations numérique et géométrique respectivement du « continu linéaire ». Définir arithmétiquement le continu géométrique demeurera le moteur permanent de la contruction des nombres transfinis.

Cantor commence par distinguer entre nombre cardinal, ce qu’il appelle « Zahl » ou « Mächtigkeit » (puissance), et plus tard « Kardinalzahl », et le nombre ordinal nommé « Anzahl », et plus tard « Ordnungszahl ». La première notion désigne l’opération de compter, indifférente à l’ordre dans lequel sont pris en compte les différents élements, la deuxième celle de numéroter ou d’énumérer, qui établit un ordre entre les éléments. Ces deux notions sont confondues dans le fini. Quelle que soit, en effet, la façon d’énumérer les éléments d’une collection finie, le dernier élément énuméré, disons le n-ième, marque en même temps le nombre cardinal de la collection, soit n. Mais pour les collections infinies il n’en est pas de même. Prenons des exemples simples. Soient les trois ensembles :

$E=\{1, 2, 3, 4, ...\}$, $F=\{2, 3, 4, ... , 1\}$ et $G= \{1, 3, 5, ..., 2, 4, 6, ...\}.$

E, F et G ont le même nombre cardinal, qui est celui de l’ensemble dénombrable des entiers naturels, et des ordinaux différents, respectivement : $\omega$, $\omega+1$ et $\omega+\omega$. En revanche les ensembles

$H_1 = \{1, 2, 3, 4, 5, 6, ...\}$ et $H_2 = \{2, 1, 4, 3, 6, 5, ...\},$

qui n’ont pas le même ordre, ont le même ordinal, le même type d’ordre (et aussi, bien sûr, le même cardinal). Ce qui est identique en eux ce n’est pas l’ordre mais l’énumération : on énumère les éléments comme dans la suite des entiers positifs, peu importe quel élément on a mis à la première place, lequel à la seconde, lequel à la troisième et ainsi de suite. Ce qui compte, c’est la succession des places et non par quoi ces places sont occupées.

Les cardinaux transfinis

Précisons d’abord la notion de cardinal transfini, plus simple en ce qu’elle néglige la structure d’ordre des ensembles considérés. Cantor pose que deux ensembles infinis ont même puissance, ou même cardinal, s’il existe une bijection de l’un sur l’autre. Ainsi en est-il de l’ensemble des nombres entiers et de l’ensemble de leurs carrés, de l’ensemble des nombres pairs et de l’ensemble des entiers, des ensembles de points de deux segments de droite inégaux, etc. Dans chacun de ces couples, les ensembles sont « équivalents », c’est-à-dire ont entre eux une relation d’équivalence (relation réflexive, symétrique et transitive). Comme nous l’avons appris depuis, la relation d’équivalence généralise la relation d’égalité (qui est la plus fine des relations d’équivalence). La définition de l’égalité de deux cardinaux convient aussi bien aux ensembles finis, l’équipotence coïncidant alors avec l’égalité ordinaire. Pour la première fois sont vaincues les difficultés qui entravaient l’établissement d’une arithmétique transfinie, et dont la principale était que nul avant Cantor n’avait eu le projet de généraliser au transfini la notion de nombre entier fini.

L’échelle des cardinaux commence par $\aleph_0$, cardinal de l’ensemble N dénombrable des entiers naturels. L’ensemble Q+ des entiers rationnels positifs est équipotent à N. On peut, en effet, ranger les rationnels positifs de façon à mettre en évidence l’existence d’une bijection de Q+ sur N. En 1874 Cantor prouve que l’ensemble des nombres réels algébriques, c’est-à-dire des nombres réels racines d’un polynôme à coefficients entiers, est lui aussi équipotent à N, mais que l’ensemble R des nombres réels, qui, en plus des algébriques, comprend les nombres transcendants (comme la constante d’Euler ou le nombre $\pi$), n’est pas équipotent à N. R a la puissance du continu, notée c. La démonstration usuelle aujourd’hui se fait par l’absurde, en utilisant un procédé inventé par Cantor en 1891, le fameux procédé de la diagonale. Puis, Cantor découvre qu’il existe une bijection entre l’ensemble des points d’un carré construit sur l’intervalle réel [0, 1] et cet intervalle lui-même. Autrement dit, la notion de dimension d’un continu n’intervient pas dans celle de cardinalité. Ce résultat le surprend au point qu’il écrit à Richard Dedekind (1831-1916), avec lequel il entretient à partir de 1873 une correspondance régulière : « Je le vois, mais je ne le crois pas ». Il attend l’approbation de Dedekind avant de publier son résultat. Puis Cantor démontre, par la méthode diagonale, que pour tout ensemble infini E l’ensemble des parties de E a une puissance strictement supérieure à celle de E. Ce résultat est absolument fondamental parce qu’il signifie qu’il n’y a pas seulement deux puissances, le dénombrable et le continu, mais une infinité, exactement comme dans le cas des nombres finis. Par exemple, pour être bien persuadé qu’il existe une troisième puissance, différente du dénombrable et différente du continu, il suffit de considérer l’ensemble F des fonctions réelles définies sur l’intervalle réel [0, 1]. F a un sous-ensemble propre qui est équipotent au continu, c’est l’ensemble des fonctions constantes ; donc F a une puissance au moins égale au continu ; elle est aussi strictement supérieure au continu (démonstration diagonale). Cantor peut donc affirmer que « les "puissances" constituent l’unique et nécessaire généralisation des "nombres cardinaux" finis ; elles ne sont rien d’autre que des nombres cardinaux infiniment grands actuels, et elles ont la même réalité et la même détermination que les cardinaux finis ; elles diffèrent de ceux-ci seulement par le fait que les règles de leur "arithmétique" s’écartent partiellement de celles qui ont cours dans le domaine du fini ».

En effet, l’addition étant définie pour des ensembles infinis disjoints E et F comme la somme des puissances de ces deux ensembles, égale par ailleurs à la puissance de la réunion de E et F, on a pour le cardinal du dénombrable :

$\aleph_0 + n =\aleph_0 + \aleph_0 = \aleph_0 + \aleph_0 + \cdots +\aleph_0 = \aleph_0 + \aleph_0 +\cdots =\aleph_0,$

et pour tout cardinal transfini c, $c + n = c + \aleph_0 = c.$

La bijection entre le carré de côté 1 et le segment réel [0, 1] évoquée plus haut se traduit par l’opération c . c = c.

L’associativité, la commutativité et la distributivité sont valables pour les cardinaux transfinis.
Un problème reste cependant ouvert, car on ne peut être assuré, à ce stade, de pouvoir toujours comparer deux cardinaux quelconques. Étant donnés deux ensembles E et F, a priori quatre cas sont possibles. Il se peut qu’on ait su montrer qu’il existe une bijection de E sur F, et on conclut alors Card(E) = Card(F). Il se peut aussi qu’on ait pu montrer que E est équipotent à une partie propre de F et alors Card(E) ≤ Card(F), ou que F est équipotent à une partie propre de E et alors Card(F) ≤ Card(E). Mais que dire si on ne se trouve dans aucun de ces trois cas ? Pour que la comparaison soit toujours possible, il faudrait que l’éventualité d’un quatrième cas soit exclue. Il faut donc s’assurer de pouvoir ranger tous les cardinaux en une suite, c’est-à-dire en un ensemble totalement ordonné et bien ordonné par la relation « plus grand que ». Là intervient la notion de nombre ordinal.

Les ordinaux transfinis

Un ensemble ordonné est un ensemble muni d’une relation d’ordre, notée ≤ , c’est-à-dire d’une relation réflexive, transitive et antisymétrique [1]. L’ordre est total si deux éléments quelconques de l’ensemble sont comparables par la relation. Deux ensembles totalement ordonnés sont dits semblables ou de même type, s’il existe de l’un sur l’autre une bijection f préservant l’ordre, c’est-à-dire telle que f (x) ≤ f (y) pour x ≤ y. Par exemple, les ensembles $E = \{1, 2, 3, ...\}$ et $F = \{..., 3, 2, 1\}$ n’ont pas le même type d’ordre : on ne peut trouver de bijection f de E sur F telle que f (1) soit le premier élément de F, F n’ayant pas de premier élément.

On distingue ainsi différents types d’ordre selon qu’il y a ou non un premier élément, un dernier élément, et selon que l’ensemble des éléments est discret ou continu. Cantor note $\omega$ l’ordre discret avec premier élément et sans dernier élément de l’ensemble des nombres naturels, h l’ordre dense (entre deux rationnels, on peut toujours en trouver un troisième) sans premier ni dernier élément des rationnels, l l’ordre continu des nombres réels.

Pour pouvoir étendre au transfini les propriétés de comparabilité et d’induction [2] valables pour les nombres finis, il nous faut recourir à la notion d’ensemble bien ordonné. Un ensemble bien ordonné est un ensemble totalement ordonné, dont toute partie propre non vide a un plus petit élément. Un ensemble fini est bien ordonné. La suite infinie des entiers naturels est un ensemble bien ordonné ; de même toute suite indexée par N. Les types d’ordre des ensembles bien ordonnés constituent les ordinaux transfinis.

Les ordinaux finis : 1, 2, 3, ... forment la classe I des ordinaux, les ordinaux des ensembles de première classe (ensembles infinis dénombrables) forment la classe II des ordinaux, les ordinaux des ensembles infinis non dénombrables forment la classe III. On notera qu’à une seule puissance, par exemple, le dénombrable, correspondent différents ordinaux, toute une classe infinie d’ordinaux. Ainsi les ordinaux de la classe II représentent autant de manières d’ordonner par un bon ordre un ensemble infini dénombrable ; ceux de la classe III toutes les manières d’ordonner par un bon ordre un ensemble infini non dénombrable.

Esquissons la construction des ordinaux transfinis. Cantor note $\omega$ le nombre ordinal de la classe I. $\omega$ est donc le premier ordinal transfini succédant à la suite 1, 2, 3, ... tout entière ; on dira que c’est un ordinal limite parce qu’il n’est le successeur immédiat d’aucun nombre de la première classe ; c’est le premier nombre de la seconde classe. Si, en partant de $\omega$, on réitère le procédé de fabrication de la suite des entiers naturels (dit par Cantor « premier principe d’engendrement ») on obtiendra la suite sans dernier élément :

$\omega + 1$, $\omega + 2$, ..., $\omega + n$, ...

En passant à nouveau à la limite (« deuxième principe d’engendrement »), on obtient un nouvel ordinal limite : $\omega.2$. L’application, à partir de $\omega.2$, du premier principe donne :

$\omega.2$, $\omega.2 + 1$, $\omega.2 + 2$, ..., $\omega.2 + n$, ...

En réitérant l’application alternée des deux principes d’engendrement, on obtient la seconde classe des ordinaux transfinis, pour laquelle Cantor formule un « principe de limitation », de manière à ouvrir la possibilité d’une troisième classe, etc.

L’addition et la multiplication des ordinaux sont associatives mais non commutatives. Par exemple :

$1 + \omega = 1, 1, 2, 3, ... \neq \omega + 1 = 1, 2, 3, ..., 1$

$\omega.2 = \omega + \omega = 1, 2, 3, ..., 1, 2, 3, ... \neq 2\omega = 1, 1, 2, 2, ..., n, n, ... = \omega.$

La distributivité de la multiplication par rapport à l’addition n’est valable qu’à droite, c’est-à-dire que les ordinaux transfinis vérifient seulement : (a + b) g = ag + bg.

Cantor a pensé comme allant de soi le fait de considérer d’emblée des ensembles bien ordonnés parce qu’il cherchait à reproduire dans le transfini la situation de la suite des entiers naturels. Encore faut-il montrer que tout ensemble (infini) peut être bien ordonné. Zermelo comble cette lacune en 1904. Moyennant son « théorème du bon ordre », il devient légitime de transférer aux ensembles infinis quelconques certaines propriétés des nombres finis. En particulier, on peut prolonger en une induction transfinie l’induction complète ordinaire, laquelle permet d’atteindre un entier fini quelconque, mais ne permet pas d’atteindre $\omega$, qui n’a pas d’antécédent immédiat.

Un ordinal caractérise donc la classe de tous les ensembles bien ordonnés isomorphes entre eux. Le cardinal d’un ensemble E est le plus petit ordinal équipotent à E. Cette définition explique que la comparabilité des cardinaux soit une conséquence de celle des ordinaux. On peut donc ranger les cardinaux transfinis, les « alephs » en une suite :

$\aleph_0$ , $\aleph_1$,..., $\aleph_n$,... $\aleph_\omega$, $\aleph_{\omega+1}$, ... $\aleph_{\omega.2}$, ...

Le cardinal de la classe II des ordinaux dénombrables est supérieur au cardinal de la classe I. C’est le cardinal du continu. Cantor a cherché toute sa vie à savoir si le cardinal de la classe II est le successeur immédiat du cardinal de la classe I, ou si on pourrait trouver d’autres cardinaux entre eux. En d’autres termes, y a-t-il un cardinal intermédiaire entre celui du dénombrable et celui du continu ? C’est la fameuse hypothèse du continu, inscrite par Hilbert à titre de problème ouvert en tête de sa fameuse liste, proposée au Congrès international des mathématiciens de 1900. La réponse sera donnée en deux temps. Kurt Gödel (1906-1978) démontre d’abord, en 1938, la compatibilité de cette hypothèse avec les axiomes habituels de la théorie des ensembles, dits de Zermelo-Fraenkel. Paul Cohen (1934- ) démontre, en 1963, son indépendance par rapport à ces axiomes. La conjonction des deux résultats signifie que l’hypothèse du continu est indécidable dans l’axiomatique Zermelo-Fraenkel : on ne peut ni l’y démontrer, ni l’y réfuter.

Le fini et l’infini : nouvelles controverses

Avec les travaux de Cantor, la querelle de l’infini connaît une nouvelle actualité. Tandis que la théorie des ensembles s’impose comme langage commode pour toutes les nouvelles axiomatisations (topologie générale, théorie de la mesure et de l’intégration, théorie des probabilités), l’échelle du transfini suscite méfiance ou rejet. Ceux-là mêmes qui adoptent rapidement la théorie des ensembles comme cadre d’exposé pour l’Analyse (Baire, Borel ou Lebesgue) rejoignent l’adversaire acharné de Cantor, Léopold Kronecker (1823-1891), dans son refus d’aller au-delà du dénombrable. Les paradoxes découverts par Burali-Forti (1861-1931) en 1897, par Russell (1872-1970) en 1903, ébranlent d’ailleurs sérieusement l’édifice. Les mathématiciens se partagent en deux camps. D’un côté, les cantoriens refusent d’être « chassés du paradis » des transfinis et parmi eux, Hilbert, qui fait tant et si bien qu’il invente le programme finitiste où l’on cherche à justifier l’infini à partir du fini. De l’autre côté leurs adversaires : Kronecker, Poincaré, et plus tard, Brouwer et même Hermann Weyl s’en tiennent plus strictement, comme autrefois Aristote, à l’infini potentiel et dénombrable. Ils considèrent, en effet, que seuls les nombres entiers sont l’objet d’une intuition indiscutable, donnée sous forme d’une suite de longueur non bornée, et non comme un ensemble, un tout achevé. D’âpres discussions ont lieu à propos d’un équivalent du théorème du bon ordre, l’axiome du choix non dénombrable. Énoncé par Zermelo en 1904, cet axiome stipule que pour toute famille, même infinie, d’ensembles non vides, il existe une fonction (qu’on ne spécifie pas davantage) qui, à chaque ensemble associe un de ses éléments, et permet de constituer ainsi un nouvel ensemble non vide. Comme l’hypothèse du continu, l’axiome du choix est à la fois compatible avec les autres axiomes de la théorie des ensembles et indépendant d’eux.

Conclusion

Ces résultats d’indécidabilité font cesser les controverses, en montrant l’égale légitimité logique d’options contradictoires. Aussi n’est-on pas étonné de voir fleurir simultanément, depuis la fin du siècle dernier, des mathématiques ensemblistes de plus en plus abstraites : topologie générale, théorie de l’intégration, analyse fonctionnelle, analyse non standard, etc., qui n’hésitent pas à utiliser l’axiome du choix ou un de ses équivalents, et des mathématiques constructives, qui explorent le pouvoir d’expression des méthodes restreintes au fini et au dénombrable.

On doit reconnaître que l’utilisation, de plus en plus systématique, des ordinateurs pousse aujourd’hui le mathématicien à chercher des répliques algorithmiques des disciplines traditionnelles de l’infini et du continu : géométrie, analyse ou topologie. D’où le développement actuel des mathématiques « finitaires », c’est-à-dire fondées sur la base des entiers finis. D’un côté, on y considère que les seules entités effectivement données et les seuls processus effectivement exécutables sont finis. De l’autre, on y cherche à délimiter les moyens (constructions, règles, etc.) qui donnent accès, à partir de processus portant sur des entités finies, aux notions impliquant l’infini. Le « finitisme » de Hilbert n’a pas cessé de porter ses fruits.

Il est amusant de constater que l’Analyse non standard, qui avait, à ses débuts, une option franchement infinitiste et franchement actualiste pour faire accepter l’idée d’une extension non archimédienne de l’ensemble des nombres réels par des éléments infinis, se tourne elle aussi aujourd’hui vers des techniques finitaires. Des travaux récents introduisent en effet un modèle finitaire des nombres réels et du continu, en jouant sur deux échelles de grandeurs. Vu de près, un nombre réel est défini par un halo de nombres entiers. De loin, c’est-à-dire à une échelle macroscopique, le conglomérat de ces halos a toutes les caractéristiques du continu, indissociable de l’infini croyait-on d’Aristote à Cantor. On tend ainsi à arithmétiser, en un sens proche ou du moins hérité de celui de Kronecker, de nombreuses procédures classiques.

Le développement des mathématiques finitaires conduit à s’interroger sur la nécessité théorique d’assumer toute l’échelle des cardinaux transfinis de Cantor. Cette question, déjà posée par Émile Borel, est de nouveau à l’ordre du jour. Dans les mathématiques applicables au monde physique, on n’est pas contraint logiquement d’accepter l’infini actuel. Il est possible en effet de le contourner en se limitant à des espaces $\mathbf{R}^n$ ou $\mathbf{C}^n$ pour n fini, et d’envisager dans ces espaces des suites d’éléments (par définition une suite est dénombrable) au lieu d’ensembles arbitraires. On peut, par exemple, forger une définition séquentielle de la mesure pour les ensembles mesurables, les seuls dont on se serve effectivement. Mais on ne peut pas traiter d’ensembles non mesurables selon cette stratégie. Par ailleurs, de nombreux résultats mathématiques font un usage essentiel du transfini. Sans axiome du choix non dénombrable on ne saurait démontrer, par exemple, que tout espace vectoriel a une base, que tout ensemble ordonné inductif a un élément maximal (lemme de Zorn), que tout corps a une extension algébriquement close, etc.

La dualité fini/infini continue de tracer dans le champ mathématique une ligne de partage, que les mathématiciens redéfinissent sans cesse sans jamais l’abolir. S’il est relativement aisé de reconnaître la validité d’un résultat à partir d’hypothèses admises, il l’est beaucoup moins de se mettre d’accord sur les hypothèses que l’on peut ou doit admettre. Comme l’écrivait Henri Lebesgue, « à aucune époque les mathématiciens n’ont été entièrement d’accord sur l’ensemble de leur science que l’on dit être celle des vérités évidentes, absolues, indiscutables, définitives ».

Bibliographie

– Bolzano B., Die Paradoxien des Unendlichen, Leipzig, 1851 ; trad. fr. H. Sinaceur, Paris, Éditions du Seuil, 1993.

– Burbage F. et Chouchan N., Leibniz et l’infini, PUF, 1993.

– Cantor G., Abhandlungen mathematischen und philosophischen Inhalts, Berlin (1932) ; réimp. Hildesheim, Olms (1966).

– Cantor-Dedekind, Correspondance, dans J. Cavaillès, Œuvres complètes de philosophie des sciences, Paris, Hermann, 1994, p. 374-449.

– Charraud N., Infini et inconscient, Paris, Anthropos, 1994.

– Desanti J.-T., Article « Infini » de l’Encyclopædia Universalis.

– Lévy T., Figures de l’infini, Paris, Le Seuil (collection « Science ouverte »), 1987.

– Leibniz G. W., Mathematische Schriften, éd. Gerhardt, Berlin (1849-63), réimpr. Hildesheim, Olms (1962).

– Leibniz G. W., Philosophische Schriften, éd. Gerhardt, Berlin (1875-1890), réimpr. Hildesheim, Olms (1965).

– Rashed R., Les mathématiques infinitésimales du IX^e au XI^e siècle, Londres, Al-Furqan, Islamic Heritage Foundation, vol. I (1996), vol. II (1994).

– Sinaceur M.-A., L’infini et les nombres, Revue d’histoire des sciences, t. XXVII (1974), p. 251-278.