L’extraction d’information ouverte (OIE) a pour but de présenter les informations contenues dans un texte dans un format régulier permettant d’organiser, d’analyser et de réfléchir sur ces informations. Afin d’évaluer les systèmes d’OIE, il est nécessaire d’utiliser une référence. Plusieurs sont disponibles qui se veulent précises et objectives.

Dans cette présentation, nous identifions certaines limitations des méthodes d’évaluation actuelles et nous proposons une nouvelle référence permettant d’y remédier. Cette nouvelle référence comprend deux composantes principales, soit une annotation manuelle de phrases candidates et une fonction permettant d’établir la concordance syntaxique entre différents faits extraits et annotés. Nous proposons de nouvelles lignes directrices pour mieux encadrer et définir la tâche d’extraction d’information ouverte elle-même, ce qui permet de quantifier de manière plus précise les informations pertinentes extraites par les systèmes d’OIE.

Nos expériences démontrent que notre référence parvient à mieux juger de la concordance entre les faits extraits et les faits annotés et qu’elle est plus souple dans son approche que la référence qui est à ce jour l’état de l’art. Notre nouvelle référence permet de tirer des conclusions intéressantes sur les performances réelles des systèmes d’extraction d’information ouverte. Nous montrons notamment que les systèmes les plus récents ne sont pas forcément les meilleurs.

Enregistrement : https://drive.google.com/file/d/15SuN5Gd-EMD_b9n-pS-7LZ3o0UO1qEQb/view?usp=drive_link