ALF : Un jeu de données d'analogies françaises à grains fins pour évaluer la connaissance lexicale des grands modèles de langue.
Alexander Petrov (alexander (point) petrov <at> umontreal (point) ca
)
RALI, DIRO
Le 5 mars 2025 à 11 h 30
Salle 3195, Pavillon André-Aisenstadt — En présentiel, avec diffusion simultanée sur Zoom
La révolution indéniable engendrée par les grands modèles de langue (LLM) provient de l'incroyable fluidité des textes qu'ils génèrent, maîtrisant la langue avec une finesse quasi-humaine. Cette fluidité soulève une question scientifique clé : quelle quantité de connaissance lexicale les LLMs capturent-ils réellement pour produire un langage aussi fluide ? Pour y répondre, nous présentons ALF, un ensemble de données analogiques librement accessible, doté d'une riche information lexicographique ancrée dans la Théorie Sens-Texte. Il comprend 3810 analogies lexicales à grains fins avec lesquelles nous évaluons la capacité lexicale de quatre LLMs, soient ChatGPT-4o mini, Llama3.0-8B, Llama3.1-8B et Qwen2.5-14B. En moyenne, les séries ChatGPT et Llama affichent une précision d'environ 45 %, tandis que Qwen dépasse tout juste le seuil de 50 %, qualifiant ainsi ALF d'un jeu de données difficile. Nous identifions également certains types d'analogies et de méthodes d'amorces (prompting) qui révèlent des disparités dans les performances.
Pour recevoir les annonces hebdomadaires par courriel, visitez http://rali.iro.umontreal.ca/rali/?q=fr/node/1631