Le Slot Filling (SF) et l’Intent Detection (ID) sont la base des agents conversationnels tels que les assistants vocaux, et sont des domaines de recherche actifs. Même si les techniques de pointe sur les corpus de référence accessibles au public montrent des performances impressionnantes, leur capacité à généraliser à des scénarios réalistes reste à démontrer. Nous présenterons NATURE, un ensemble de transformations simples typiques du langage parlé (parole), appliqué à l'ensemble d'évaluation des ensembles de données, pour introduire des variations du langage parlé humain tout en préservant la sémantique d'un énoncé. Nous appliquons NATURE aux corpus de référence populaires de SF et ID et démontrons que de simples perturbations de l'évaluation standard définie par NATURE peuvent détériorer considérablement les performances du modèle. Grâce à nos expériences, nous démontrons que lorsque les opérateurs NATURE sont appliqués à un ensemble d'évaluation de référence populaire, la précision du modèle peut chuter considérablement.

Enregistrement : https://drive.google.com/file/d/1Z3DC43Zlm1rnRIm3FSGlb4nU47Pkl6Un/view?usp=sharing