Séminaires RALI-OLST

NATURE: Natural Auxiliary Text Utterances for Realistic Spoken Language Evaluation

David Alfonso Hermelo (david (point) alfonso (point) hermelo <at> huawei (point) com)

Huawei Montreal

Wednesday 24 November 2021 at 11:30 AM

Réunion Zoom (below)


Le Slot Filling (SF) et l’Intent Detection (ID) sont la base des agents conversationnels tels que les assistants vocaux, et sont des domaines de recherche actifs. Même si les techniques de pointe sur les corpus de référence accessibles au public montrent des performances impressionnantes, leur capacité à généraliser à des scénarios réalistes reste à démontrer. Nous présenterons NATURE, un ensemble de transformations simples typiques du langage parlé (parole), appliqué à l'ensemble d'évaluation des ensembles de données, pour introduire des variations du langage parlé humain tout en préservant la sémantique d'un énoncé. Nous appliquons NATURE aux corpus de référence populaires de SF et ID et démontrons que de simples perturbations de l'évaluation standard définie par NATURE peuvent détériorer considérablement les performances du modèle. Grâce à nos expériences, nous démontrons que lorsque les opérateurs NATURE sont appliqués à un ensemble d'évaluation de référence populaire, la précision du modèle peut chuter considérablement.

Enregistrement : https://drive.google.com/file/d/1Z3DC43Zlm1rnRIm3FSGlb4nU47Pkl6Un/view?usp=sharing



Join with Zoom at this url.
Meeting ID: 916 9097 5818, 𝑷𝒂𝒔𝒔𝒄𝒐𝒅𝒆: 343273.
Phone numbers: https://umontreal.zoom.us/u/abitNZzLg.
One tap mobile: +14388097799,,91690975818#,,,,,,0#,,343273#


Follow this link to subscribe to future RALI-OLST announcements.
http://rali.iro.umontreal.ca/rali/?q=fr/node/1631

See all the weekly talks for the year:

1991 1992 1993 1994 1995 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024