Un jeu de mots a besoin de plus qu'une liste de chaînes valides. Il doit dire ce que chacune signifie, et le sens est la chose la plus difficile à stocker.
WordChess se joue sur un plateau de 25×25 avec un 148,941- dictionnaire anglais6, dont les entrées comptent en moyenne 8,6 lettres, certaines atteignant 25. C'est la partie facile. Une liste de mots valides n'est qu'un ensemble de chaînes que le jeu acceptera. La partie intéressante est de dire au joueur ce que la chaîne sur le plateau signifie, et de le faire dans vingt-deux langues à la fois.
Les lexicographes tracent une ligne nette entre un lemme et ses formes fléchies. Le lemme est le mot de tête que l'on consulte, run, house, be. Autour de lui gravite un paradigme de formes de surface : runs, ran, running. Chacune porte le même sens central, habillée pour un rôle grammatical différent.3 Un dictionnaire consacre sa prose au lemme et laisse les ombres indiquer le chemin.
Le nombre d'ombres qu'un mot projette dépend de la langue. L'anglais est analytique: il s'appuie sur l'ordre des mots et de petits mots auxiliaires, si bien qu'un verbe n'a rarement plus qu'une poignée de formes. Le finnois est agglutinant, il construit le sens en collant des suffixes sur une racine. Un seul nom finnois fléchit en quelque quinze cas, au singulier et au pluriel, avant que les terminaisons possessives et les clitiques ne s’empilent ; le nombre pratique de formes distinctes atteint des milliers.4 Le hongrois condense une phrase entière en anglais, dans ma maison, en un seul mot, házamban.5
Les définitions proviennent de Wiktionary, le dictionnaire libre que chacun peut éditer. Il est immense et multilingue: le projet couvre plus d’une centaine d’éditions linguistiques actives et des dizaines de millions d’entrées, rédigées de manière collaborative par des bénévoles plutôt que par un comité éditorial rémunéré.1 Pour un jeu qui fonctionne dans 22 langues, aucun autre lexique gratuit ne s’approche de cette couverture.
Mais la couverture sur le papier n’est pas une couverture que l’on peut lire à voix haute. Wiktionary stocke les formes fléchies de manière à épargner aux éditeurs humains la rédaction de la même glose dix mille fois. Au lieu de formuler une définition, une entrée non-lémme porte un modèle de forme, un petit pointeur qui indique, en substance, « ceci est une forme grammaticale particulière de ce lemme. »2 L'entrée pour smoulders n'est pas de la prose ; c'est un modèle qui s'affiche sous la forme « troisième personne du singulier du présent simple de smoulder. »1
Ces pointeurs ne sont pas une erreur d'arrondi. Sur le Wiktionnaire anglais, sur environ 1,27 million de définitions, quelque 478 000, soit bien plus d'un tiers, sont des définitions de type « forme de » plutôt que des sens rédigés.1 Les données sont là. Elles sont simplement pliées.
Le défi qui comptait n'a jamais été « le mot est manquant ». C'était que le sens du mot se trouvait à l'intérieur d'un modèle qu'un analyseur naïf jetterait. Les définitions de WordChess ont été construites en lisant les dumps bruts du Wiktionnaire et en dépliant les modèles d'inflection langue par langue, en apprenant à l'analyseur ce que chaque pointeur signifie et en le réécrivant sous forme de glose simple.6
Chaque langue cache ses formes derrière un mécanisme différent. L'espagnol range les formes verbales derrière {{forma verbo}}, résolues en « forme verbale de X ». L'allemand utilise {{Grundformverweis Dekl/Konj}} pour les formes déclinées et conjuguées. Le finnois s'appuie sur {{taivutusmuoto}}. Le russe ne conserve souvent aucun modèle de forme du tout, le mot fléchi est un simple renvoi (собаки → собака) qu'il faut suivre pour récupérer une glose de « forme de ».6 Gérer chaque convention, et la couverture bondit.
| Langue | Avant | Après | Gain |
|---|---|---|---|
| Allemand | 45% | 92% | +47 |
| Néerlandais | 58% | 90% | +32 |
| Finnois | 54% | 74% | +20 |
| Russe | 20% | 70% | +50 |
| Grec | 15% | 57% | +42 |
Mesuré à partir des notes de conception et de construction de ce projet. Les pourcentages représentent la part des entrées du dictionnaire portant une définition exploitable ou une glose de « forme de » résolue.
Les données n'ont jamais manqué. Elles étaient repliées dans un pointeur, et donner le mot à une machine signifiait apprendre à le déplier.
Il est honnête de dire ce que le jeu contient désormais. Lorsque WordChess indique que собаки est une forme de собака, « chien », il n'a rien compris. Il a associé une chaîne à une autre chaîne, une glose, en suivant les mêmes pointeurs qu'un éditeur humain a laissés derrière lui. C'est la lemmatisation, le cheval de trait du traitement automatique des langues : réduire une forme de surface à sa forme de base afin qu'une machine ait moins d'éléments distincts à suivre.7
C'est un type de savoir réel et utile. Il permet au jeu de répondre à « qu'est-ce que ce mot ? » à Athènes ou à Amsterdam sans lexicographe en poste. Mais c'est un savoir par consultation, et non un savoir par signification. La glose est une promesse qu'une personne, en la lisant, reconnaîtra le mot. La machine détient la promesse ; le lecteur fournit le sens.
Certaines langues butent contre un plafond qu'aucun analyseur ne peut lever, car les données tout simplement ne sont pas là pour se déployer. Les entrées hongroises ne comportent souvent qu'une étymologie et un tableau de traductions, sans aucun texte de définition, si bien qu'un lecteur parfait repart les mains vides. Les cas les plus difficiles se regroupent là où la linguistique est la plus ardue : les langues agglutinantes telles que le finnois et le hongrois, qui engendrent des paradigmes énormes, et les alphabets cyrillique et grec, où la couverture communautaire est plus mince dès le départ. Le grec est passé de 15 % à 57 % ; le fait qu'il s'arrête bien en deçà des 92 % de l'allemand est un fait concernant la source, et non le code. 6