Séminaires RALI-OLST

Une approche par jeu-défi à l'évaluation de la traduction automatique

Pierre Isabelle (Pierre (point) Isabelle <at> cnrc-nrc (point) gc (point) ca)

Conseil national de recherches Canada -- Ottawa

Le mercredi 22 novembre 2017 à 11 h 30

Salle 3195, Pavillon André-Aisenstadt


Du point de vue de la qualité des résultats, la traduction automatique neuronale représente sans contredit un bond en avant. Mais quelles sont exactement les problèmes qu'elle permet de résoudre? Et quels sont ceux qui demeurent entiers? Nous examinons ces questions au moyen d'une approche à l'évaluation des traductions et l'analyse d'erreurs par jeux-défis. Un jeu-défi est un petit ensemble de phrases qui sont chacune conçue pour tester la capacité du système à combler une divergence structurale particulière entre les langues concernées. Nous exemplifions cette approche par le développement d'un jeu-défi pour la traduction anglais --> français et nous mettons ce jeu à l'épreuve sur trois systèmes maison, dont deux à base statistique traditionnelle et un à base neuronale, ainsi que sur Google Translate version neuronale. Les résultats nous permettent de produire non seulement une analyse fine des forces des systèmes neuronaux mais également un aperçu des phénomènes linguistiques qui leur échappent encore.

En guise d'épilogue, nous examinerons également la performance sur le même jeu-défi d'un système qui fait présentement la manchette: DEEPL.


Suivez ce lien pour vous inscrire à la liste de diffusion RALI-OLST.
http://rali.iro.umontreal.ca/rali/?q=fr/node/1631

Liste de tous les séminaires pour l'année :

1991 1992 1993 1994 1995 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024