Nous décrivons une représentation contextuelle de mots apprise à partir d'annotations produite par supervision distante à partir de Wikipédia, et dédiée à la reconnaissance d'entités nommées. Nos expériences sur 7 jeux de données montrent des gains systématiques sur différents domaines, et démontrent que notre représentation est complémentaire aux autres proposées récemment. On présente en particulier un nouvel état de l'art sur les jeux de données CONLL-2003 et ONTONOTES 5.0.