Dans cette présentation, j'explorerai l'utilisation des modèles de langue de type transformeurs dans l'induction du sens des mots pour la construction automatique d'un dictionnaire de valence des verbes français. Pour rendre compte de la façon dont les arguments d'un verbe changent en fonction de son sens, ce type de dictionnaire doit distinguer au moins les sens principaux d'un lemme. Cependant, la construction manuelle d'une telle ressource est très coûteuse et nécessite un personnel hautement qualifié. C'est pourquoi une sous-tâche importante dans la construction de cette ressource consiste à identifier automatiquement la polysémie des verbes. Pour chacun des 2 000 verbes français les plus fréquents, nous extrayons les plongements de mots de 20 000 de leurs occurrences en contexte trouvées avec Sketch Engine, et nous regroupons ces plongements pour trouver les différents sens de chaque verbe. Afin d'identifier le modèle de langue et l'algorithme de regroupement les mieux adaptés à notre tâche, nous extrayons les plongements de mots des phrases de l'ensemble de données d'évaluation FrenchSemEval avec un modèle spécifique au français, CamemBERT, et deux modèles multilingues, XLM-RoBERTa et T5. Ces vecteurs sont ensuite regroupés avec trois algorithmes différents qui ne nécessitent pas un nombre prédéterminé de clusters: Affinity Propagation, Agglomerative Clustering et HDBSCAN. Nos expériences confirment le potentiel des méthodes non supervisées pour identifier les sens des verbes, et indiquent que les modèles de langue monolingues sont meilleurs que les modèles multilingues pour les tâches d'induction du sens des mots impliquant une seule langue.

Enregistrement : https://drive.google.com/file/d/10FG31XOP3zWN6LT_TRnYnD4CrGPsDOxa/view?usp=drive_link