Du point de vue de la qualité des résultats, la traduction automatique neuronale représente sans contredit un bond en avant. Mais quelles sont exactement les problèmes qu'elle permet de résoudre? Et quels sont ceux qui demeurent entiers? Nous examinons ces questions au moyen d'une approche à l'évaluation des traductions et l'analyse d'erreurs par jeux-défis. Un jeu-défi est un petit ensemble de phrases qui sont chacune conçue pour tester la capacité du système à combler une divergence structurale particulière entre les langues concernées. Nous exemplifions cette approche par le développement d'un jeu-défi pour la traduction anglais --> français et nous mettons ce jeu à l'épreuve sur trois systèmes maison, dont deux à base statistique traditionnelle et un à base neuronale, ainsi que sur Google Translate version neuronale. Les résultats nous permettent de produire non seulement une analyse fine des forces des systèmes neuronaux mais également un aperçu des phénomènes linguistiques qui leur échappent encore.

En guise d'épilogue, nous examinerons également la performance sur le même jeu-défi d'un système qui fait présentement la manchette: DEEPL.