WiRe57 : A Fine-Grained Benchmark for Open Information Extraction

Article

William Léchelle, Fabrizio Gotti, Philippe Langlais (2018), WiRe57 : A Fine-Grained Benchmark for Open Information Extraction, arXiv:1809.08962

Les systèmes d'extraction d'information ouverte (OIE), à commencer par TextRunner, cherchent à extraire les tuples relationnels de faits exprimés dans un texte, sans être pour autant limités à une liste fermée de relations à extraire. Ces systèmes sont utilisés pour l'extraction de relations, les questions-réponses et pour construire des bases de connaissance pour des domaines spécifiques, entre autres choses.

Les extracteurs qui ont succédé (ReVerb,   Ollie,   ClausIE, Stanford Open IE, OpenIE4, MinIE) ont cherché à améliorer le rendement et la précision de l'OIE. Malgré cela, la définition de la tâche nous semble sous-spécifiée et, à notre connaissance, il n'y a pas de référence pour cette tâche.

Afin d'entamer la résolution de ce problème, nous avons construit une référence pour la tâche d'OIE, sur cinq documents. Nous tentons de résoudre un certain nombre de problèmes qui apparaissent, incluant l'inférence et la granularité des annotations. Nous tâchons de mieux identifier ce que la tâche requiert. Nous proposons des directives d'annotation spécifiant ce qu'il est correct d'extraire et ce qui ne l'est pas. Ensuite, nous utilisons cette référence pour évaluer des systèmes d'OIE existants. Nous nous intéressons au problème non trivial d'évaluer les extractions produites par ces sytèmes, et partageons notre script d'évaluation. Parmi les 7 systèmes comparés, nous trouvons que MinIE est le meilleur.

Ressources disponibles

  • Référence WiRe57 La référence produite pour notre article, en format JSON défini dans l'article.
  • Directives d'annotation Ce document d'accompagnement propose des directives pour extraire des tuples à partir de phrases. Ces directives ont servi pour produire la référence WiRe57. Ces directives peuvent également être employées par toute personne désireuse de créer sa propre référence.
  • Script d'évaluation (Python) Ce programme Python évalue un système d'OIE sur WiRe57, en utilisant des options configurables.