Dans ce séminaire, je vais parler de l'évaluation humaine des systèmes de génération automatique de texte (GAT), et plus particulièrement (i) des problèmes majeurs en ce qui concerne les pratiques courantes d'évaluation, et (ii) de possibles améliorations à apporter au processus d'évaluation et à la manière dont les résultats sont rapportés. Pour ceci, je vais me baser sur deux articles qui décrivent le résultat d'une revue systématique des articles INLG et ENLG des 20 dernières années qui rendent compte d'une ou plusieurs évaluations humaines:

- Howcroft et al.: Twenty Years of Confusion in Human Evaluation: NLG Needs Evaluation Sheets and Standardised Definitions (@INLG 2020).

- Belz et al.: Disentangling the Properties of Human Evaluation Methods: A Classification System to Support Comparability, Meta-Evaluation and Reproducibility Testing (Best Long Paper award (and Longest Title award) @INLG 2020).

Enregistrement : https://drive.google.com/file/d/1AhDBmn-6tBS8HUDIqKJGxVRpHi3Uqr-p/view?usp=sharing