Nous présentons les résultats d'une évaluation approfondie des systèmes de reconnaissance d'entités nommées (REN), qui visent à détecter dans un texte donné les expressions faisant référence à des entités telles que des personnes, des organisations ou des lieux. Nous montrons que, bien que la REN soit un problème bien étudié, il demeure difficile de savoir à quels résultats on peut s'attendre en pratique lorsqu'on applique la REN à des fins particulières. Au moyen d'une évaluation trans-domaine de différents systèmes de REN, nous tentons d'identifier les meilleures pratiques pour l'application de la REN à un nouveau domaine. Nous proposons également une méthode d'évaluation axée sur des sources spécifiques d'erreurs. Ces évaluations font ressortir des observations importantes sur ce qu'apprennent les systèmes de REN et sur les limites de l'approche standard à l'évaluation de ces systèmes.