Article

William Léchelle, Fabrizio Gotti, Philippe Langlais (2018), WiRe57 : A Fine-Grained Benchmark for Open Information Extraction, arXiv:1809.08962

Les systèmes d'extraction d'information ouverte (OIE), à commencer par TextRunner, cherchent à extraire les tuples relationnels de faits exprimés dans un texte, sans être pour autant limités à une liste fermée de relations à extraire. Ces systèmes sont utilisés pour l'extraction de relations, les questions-réponses et pour construire des bases de connaissance pour des domaines spécifiques, entre autres choses.

Les extracteurs qui ont succédé (ReVerb,   Ollie,   ClausIE, Stanford Open IE, OpenIE4, MinIE) ont cherché à améliorer le rendement et la précision de l'OIE. Malgré cela, la définition de la tâche nous semble sous-spécifiée et, à notre connaissance, il n'y a pas de référence pour cette tâche.

Afin d'entamer la résolution de ce problème, nous avons construit une référence pour la tâche d'OIE, sur cinq documents. Nous tentons de résoudre un certain nombre de problèmes qui apparaissent, incluant l'inférence et la granularité des annotations. Nous tâchons de mieux identifier ce que la tâche requiert. Nous proposons des directives d'annotation spécifiant ce qu'il est correct d'extraire et ce qui ne l'est pas. Ensuite, nous utilisons cette référence pour évaluer des systèmes d'OIE existants. Nous nous intéressons au problème non trivial d'évaluer les extractions produites par ces sytèmes, et partageons notre script d'évaluation. Parmi les 7 systèmes comparés, nous trouvons que MinIE est le meilleur.

Ressources disponibles

Le code et les annotations sont disponibles sur Github.