Utilisation du plongement du domaine pour l’adaptation non supervisée en traduction automatique

Xavier Frenette (xavier (point) frenette <at> umontreal (point) ca)

RALI, DIRO

Le 1er décembre 2021 à 11 h 30

Réunion Zoom (voir http://rali.iro.umontreal.ca/rali/seminaire-virtuel)


L’industrie de la traduction utilise de plus en plus des modèles de traduction automatique. Des modèles dits « universels » sont capables d’obtenir de bonnes performances lorsqu’évalués sur un large ensemble de domaines, mais leurs performances sont souvent limitées lorsqu’ils sont testés sur des domaines précis. Or, les traductions doivent être adaptées au style, au sujet et au vocabulaire des différents domaines, en particulier ceux des nouveaux (pensons aux textes reliés à la COVID-19). Entrainer un nouveau modèle pour chaque domaine demande du temps, des outils technologiques spécialisés et de grands ensembles de données. De telles ressources ne sont généralement pas disponibles. Nous proposons, dans ce mémoire, d’évaluer une nouvelle technique de transfert d’apprentissage pour l’adaptation à un domaine précis. La technique peut s’adapter rapidement à tout nouveau domaine, sans entrainement supplémentaire et de façon non supervisée. À partir d’un échantillon de phrases du nouveau domaine, le modèle lui calcule une représentation vectorielle qu’il utilise ensuite pour gui- der ses traductions. Pour calculer ce plongement de domaine, nous testons cinq différentes techniques. Nos expériences démontrent qu’un modèle qui utilise un tel plongement réussit à extraire l’information qui s’y trouve pour guider ses traductions. Nous obtenons des résultats globalement supérieurs à un modèle de traduction qui aurait été entrainé sur les mêmes données, mais sans utiliser le plongement. Notre modèle est plus avantageux que d’autres techniques d’adaptation de domaine puisqu’il est non supervisé, qu’il ne requiert aucun en- trainement supplémentaire pour s’adapter et qu’il s’adapte très rapidement (en quelques secondes) uniquement à partir d’un petit ensemble de phrases.

Enregistrement de la présentation : https://drive.google.com/file/d/1Mj4tmiAkFsXUpxKYwjzKTaDF2vCglfF0/view?usp=sharing


Pour recevoir les annonces hebdomadaires par courriel, visitez http://rali.iro.umontreal.ca/rali/?q=fr/node/1631

Liste des autres séminaires