Séminaires RALI-OLST

Techniques d’amplification des données textuelles pour l’apprentissage profond

Claude Coulombe (claude (point) coulombe <at> gmail (point) com)

TELUQ

Wednesday 13 November 2019 at 11:30 AM

Salle 3195, Pavillon André-Aisenstadt


Ce travail a pour objectif d’étudier la faisabilité de différentes techniques d’amplification des données textuelles (ADT) afin de contrer l’insuffisance de données pour entraîner de gros modèles statistiques, particulièrement en apprentissage profond. Pour franchir ce « mur des données massives », nous proposons de créer de nouvelles données à partir des données existantes. On dit aussi : données synthétiques, données générées ou données artificielles. Nous recherchons des techniques d’ADT pratiques, robustes, capables de monter en charge et simples à mettre en œuvre. Ces techniques de prétraitement s’inspirent des techniques utilisées avec succès en vision artificielle. Aux fins de comparaison, des techniques d’ADT existantes ont été expérimentées, comme l’injection de bruit ou l’emploi d’expressions régulières. D’autres ont été améliorées, comme la substitution lexicale. Enfin, des techniques plus innovatrices utilisent des services en ligne comme la rétrotraduction et la génération de paraphrases par transformation d’arbres syntaxiques. Les techniques d’ADT étudiées ont permis d’accroître l’exactitude de 0,5 à 8,8 %, sur une tâche de prédiction de la polarité de textes. Différentes architectures de réseau de neurones ont été testées : le perceptron multicouche (PMC), le réseau convolutif 1D (RNC 1D), le réseau récurrent à longue mémoire court terme (LMCT) et le réseau récurrent LMCT bidirectionnel (biLMCT).



Join with Zoom at this url.
Meeting ID: 916 9097 5818, 𝑷𝒂𝒔𝒔𝒄𝒐𝒅𝒆: 343273.
Phone numbers: https://umontreal.zoom.us/u/abitNZzLg.
One tap mobile: +14388097799,,91690975818#,,,,,,0#,,343273#


To receive weekly talk announcements, please send an e-mail to majordomo@iro.umontreal.ca. Simply write a message containing the single line 'subscribe ralli' (without the quotes).

See all the weekly talks for the year:

1991 1992 1993 1994 1995 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021