Séminaires RALI-OLST

L'évaluation humaine en génération automatique de texte

Simon Mille (simon (point) mille <at> upf (point) edu)

TALN, Universitat Pompeu Fabra / ADAPT, Dublin City University

Wednesday 4 May 2022 at 11:30 AM

Réunion Zoom, below


Dans ce séminaire, je vais parler de l'évaluation humaine des systèmes de génération automatique de texte (GAT), et plus particulièrement (i) des problèmes majeurs en ce qui concerne les pratiques courantes d'évaluation, et (ii) de possibles améliorations à apporter au processus d'évaluation et à la manière dont les résultats sont rapportés. Pour ceci, je vais me baser sur deux articles qui décrivent le résultat d'une revue systématique des articles INLG et ENLG des 20 dernières années qui rendent compte d'une ou plusieurs évaluations humaines:

- Howcroft et al.: Twenty Years of Confusion in Human Evaluation: NLG Needs Evaluation Sheets and Standardised Definitions (@INLG 2020).

- Belz et al.: Disentangling the Properties of Human Evaluation Methods: A Classification System to Support Comparability, Meta-Evaluation and Reproducibility Testing (Best Long Paper award (and Longest Title award) @INLG 2020).

Enregistrement : https://drive.google.com/file/d/1AhDBmn-6tBS8HUDIqKJGxVRpHi3Uqr-p/view?usp=sharing



Join with Zoom at this url.
Meeting ID: 916 9097 5818, 𝑷𝒂𝒔𝒔𝒄𝒐𝒅𝒆: 343273.
Phone numbers: https://umontreal.zoom.us/u/abitNZzLg.
One tap mobile: +14388097799,,91690975818#,,,,,,0#,,343273#


To receive weekly talk announcements, please send an e-mail to majordomo@iro.umontreal.ca. Simply write a message containing the single line 'subscribe ralli' (without the quotes, with a double 'l' in 'ralli').

See all the weekly talks for the year:

1991 1992 1993 1994 1995 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022