Évaluer la compétence lexicale des modèles de langues
Shuxu Li (shuxu (point) li <at> umontreal (point) ca
)
Le 29 octobre 2025 à 11 h 30
Salle C-9019, Pavillon Lionel-Groulx — En présentiel, avec diffusion simultanée sur Zoom
Nous présentons un nouveau banc d’essai pour évaluer la compétence lexicale des grands modèles de langue (GML), construit sur une classification hiérarchique des fonctions lexicales (FL). À partir d’un jeu de données appelé Réseau lexical du français (RL-fr), ce banc d’essai utilise des tâches contrastives afin de sonder la sensibilité des modèles aux relations paradigmatiques et syntagmatiques. Nos résultats montrent que la performance varie fortement selon les FL et décline systématiquement à mesure que la granularité des distinctions augmente, ce qui met en évidence les limites actuelles des GML en compréhension lexicale relationnelle.
Cette présentation reprend un article publié à IWCS 2025.
Shuxu Li termine la maîtrise en linguistique à l'Université de Montréal.
Pour recevoir les annonces hebdomadaires par courriel, visitez http://rali.iro.umontreal.ca/rali/?q=fr/node/1631