RALI-OLST Weekly Talks

Une approche par jeu-défi à l'évaluation de la traduction automatique

Pierre Isabelle (Pierre (point) Isabelle <at> cnrc-nrc (point) gc (point) ca)

Conseil national de recherches Canada -- Ottawa

Wednesday 22 November 2017 at 11:30 AM

Salle 3195, Pavillon André-Aisenstadt


Du point de vue de la qualité des résultats, la traduction automatique neuronale représente sans contredit un bond en avant. Mais quelles sont exactement les problèmes qu'elle permet de résoudre? Et quels sont ceux qui demeurent entiers? Nous examinons ces questions au moyen d'une approche à l'évaluation des traductions et l'analyse d'erreurs par jeux-défis. Un jeu-défi est un petit ensemble de phrases qui sont chacune conçue pour tester la capacité du système à combler une divergence structurale particulière entre les langues concernées. Nous exemplifions cette approche par le développement d'un jeu-défi pour la traduction anglais --> français et nous mettons ce jeu à l'épreuve sur trois systèmes maison, dont deux à base statistique traditionnelle et un à base neuronale, ainsi que sur Google Translate version neuronale. Les résultats nous permettent de produire non seulement une analyse fine des forces des systèmes neuronaux mais également un aperçu des phénomènes linguistiques qui leur échappent encore.

En guise d'épilogue, nous examinerons également la performance sur le même jeu-défi d'un système qui fait présentement la manchette: DEEPL.



Join with Zoom at this url.
Meeting ID: 916 9097 5818, 𝑷𝒂𝒔𝒔𝒄𝒐𝒅𝒆: 343273.
Phone numbers: https://umontreal.zoom.us/u/abitNZzLg.
One tap mobile: +14388097799,,91690975818#,,,,,,0#,,343273#


To receive weekly talk announcements, please send an e-mail to majordomo@iro.umontreal.ca. Simply write a message containing the single line 'subscribe ralli' (without the quotes).

See all the weekly talks for the year:

1991 1992 1993 1994 1995 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021