Séminaires RALI-OLST

NATURE: Natural Auxiliary Text Utterances for Realistic Spoken Language Evaluation

David Alfonso Hermelo (david (point) alfonso (point) hermelo <at> huawei (point) com)

Huawei Montreal

Le mercredi 24 novembre 2021 à 11 h 30

Réunion Zoom (ci-dessous)


Le Slot Filling (SF) et l’Intent Detection (ID) sont la base des agents conversationnels tels que les assistants vocaux, et sont des domaines de recherche actifs. Même si les techniques de pointe sur les corpus de référence accessibles au public montrent des performances impressionnantes, leur capacité à généraliser à des scénarios réalistes reste à démontrer. Nous présenterons NATURE, un ensemble de transformations simples typiques du langage parlé (parole), appliqué à l'ensemble d'évaluation des ensembles de données, pour introduire des variations du langage parlé humain tout en préservant la sémantique d'un énoncé. Nous appliquons NATURE aux corpus de référence populaires de SF et ID et démontrons que de simples perturbations de l'évaluation standard définie par NATURE peuvent détériorer considérablement les performances du modèle. Grâce à nos expériences, nous démontrons que lorsque les opérateurs NATURE sont appliqués à un ensemble d'évaluation de référence populaire, la précision du modèle peut chuter considérablement.

Enregistrement : https://drive.google.com/file/d/1Z3DC43Zlm1rnRIm3FSGlb4nU47Pkl6Un/view?usp=sharing



Joignez-vous à nous avec Zoom à l'aide de cette URL.
ID de réunion : 916 9097 5818, Code : 343273.
Numéros de téléphone : https://umontreal.zoom.us/u/abitNZzLg.
One tap mobile : +14388097799,,91690975818#,,,,,,0#,,343273#


Suivez ce lien pour vous inscrire à la liste de diffusion RALI-OLST.
http://rali.iro.umontreal.ca/rali/?q=fr/node/1631

Liste de tous les séminaires pour l'année :

1991 1992 1993 1994 1995 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024