Séminaires RALI-OLST

Méthodes d’évaluation en extraction d’information ouverte

Fabrice Lamarche (fabrice (point) lamarche <at> umontreal (point) ca)

RALI, DIRO

Wednesday 20 September 2023 at 11:30 AM

Salle 3195, Pavillon André-Aisenstadt — Diffusion simultanée sur Zoom


L’extraction d’information ouverte (OIE) a pour but de présenter les informations contenues dans un texte dans un format régulier permettant d’organiser, d’analyser et de réfléchir sur ces informations. Afin d’évaluer les systèmes d’OIE, il est nécessaire d’utiliser une référence. Plusieurs sont disponibles qui se veulent précises et objectives.

Dans cette présentation, nous identifions certaines limitations des méthodes d’évaluation actuelles et nous proposons une nouvelle référence permettant d’y remédier. Cette nouvelle référence comprend deux composantes principales, soit une annotation manuelle de phrases candidates et une fonction permettant d’établir la concordance syntaxique entre différents faits extraits et annotés. Nous proposons de nouvelles lignes directrices pour mieux encadrer et définir la tâche d’extraction d’information ouverte elle-même, ce qui permet de quantifier de manière plus précise les informations pertinentes extraites par les systèmes d’OIE.

Nos expériences démontrent que notre référence parvient à mieux juger de la concordance entre les faits extraits et les faits annotés et qu’elle est plus souple dans son approche que la référence qui est à ce jour l’état de l’art. Notre nouvelle référence permet de tirer des conclusions intéressantes sur les performances réelles des systèmes d’extraction d’information ouverte. Nous montrons notamment que les systèmes les plus récents ne sont pas forcément les meilleurs.

Enregistrement : https://drive.google.com/file/d/15SuN5Gd-EMD_b9n-pS-7LZ3o0UO1qEQb/view?usp=drive_link



Join with Zoom at this url.
Meeting ID: 916 9097 5818, 𝑷𝒂𝒔𝒔𝒄𝒐𝒅𝒆: 343273.
Phone numbers: https://umontreal.zoom.us/u/abitNZzLg.
One tap mobile: +14388097799,,91690975818#,,,,,,0#,,343273#


Follow this link to subscribe to future RALI-OLST announcements.
http://rali.iro.umontreal.ca/rali/?q=fr/node/1631

See all the weekly talks for the year:

1991 1992 1993 1994 1995 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024