Le corpus BAF
Un corpus de bitextes anglais-français
Le BAF est un corpus de bitextes anglais-français, c'est-à-dire un ensemble de paires de documents anglais et français, traductions l'un de l'autre, dont les phrases ont été "alignées". Ce corpus a été constitué par l'équipe de traduction assistée par ordinateur (TAO) du CITI, et surtout par Michel Simard, notre Webmestre à l'époque, dans le cadre de l'Action de recherche concertée (ARC) A2, coordonnée et financée par l'AUPELF-UREF.
Une version one-line de corpus a été ensuite produite par Fabrizio Gotti en 2006. Dans ce format, la ligne i du fichier d'une langue correspond à la ligne i du fichier dans l'autre langue. Ces types de fichier peuvent être consultés en parallèle à l'aide d'outil comme vimdiff sous Unix conçu pour afficher les différences entre deux fichiers. Évidemment, le système trouve de multiples différences entre un fichier anglais et français, mais la consultation des fichiers en parallèle est très pratique. Sous MacOS, l'utilitaire FileMerge fonctionne également très bien.
La plus grande partie du corpus est constituée de textes de nature institutionnelle (Hansard canadien, rapports de l'ONU, etc.), mais nous avons aussi inclus quelques articles scientifiques de même qu'une oeuvre littéraire. Le tout représente environ 400 000 mots dans chaque langue.
Téléchargement
La version 1.1 du corpus est maintenant disponible (28 octobre 1997).
La licence du corpus est "Creative Commons - Attribution". Il vous suffit de citer notre labo (le RALI) pour utiliser le corpus, par exemple en faisant un lien vers cette page.
On peut télécharger le corpus de trois façons:
- format UNIX : baf-1.1.tar.gz, c'est-à-dire un fichier créé à l'aide des utilitaires UNIX tar et gzip; (environ 5,9 Mb)
- format Zip : baf-1.1.zip, c'est-à-dire un fichier créé à l'aide du programme zip (version 2.1); (environ 5,9 Mb)
- format one-line:
- format "texte", c'est-à-dire en téléchargeant un à un les différents fichiers qui constituent le corpus; il suffit alors de suivre les liens qui apparaissent dans la description du corpus.
Nous avons aussi produit, à des fins expérimentales, une version segmentée en phrases du corpus, en format CES. Il est important de noter que cette version a été produite de façon automatique, et que la segmentation en phrases n'a pas été validée manuellement. Voici comment nous avons procédé:
- Prenant pour acquis que l'alignement de référence nous fournissait une segmentation correcte, quoique partielle (précision ~ 1, rappel < 1), nous avons inséré une frontière de phrase à chaque point de segmentation de l'alignement.
- Nous avons ensuite appliqué entre ces frontières une heuristique simpliste de détection de frontières de phrases.La segmentation ainsi produite, à défaut d'être parfaite, comporte quand même l'avantage d'inclure la segmentation qui constitue l'alignement "correct". De plus, une évaluation rapide nous permet d'affirmer que:
- Moins de 2,6% des frontières produites sont erronées (précision > 97,4%).
- Moins de 2,7% des "vraies" frontières manquent (rappel > 97,3%).
À partir de la distribution 1.1 du corpus, on retrouve la version CES pré-segmentée du corpus à même les fichiers de distribution standards (baf-1.1.tar.gz et baf-1.1.zip).
Quelques programmes sont également disponibles, dont le mode Emacs manual, ayant servi à l'édition des alignements de phrases. Ceux-ci se retrouvent dans la trousse coal, qu'on peut télécharger ici-même, en format UNIX (tar + gzip): coal-0.1.tar.gz.
Documentation
- La description des documents constituant le BAF et leur encodage
- Les conventions adoptées lors du processus d'alignement
- Des programmes de conversion, de visualisation, de manipulation, etc.
