Plusieurs travaux récents se sont penchés sur des modèles probabilistes de documents textuels afin d'améliorer les performances des systèmes d'accès à l'information (recherche d'information, classification supervisée ou non, ...). En parallèle, un certain nombre d'observations empiriques sur la distribution des mots au sein de collections textuelles ont été faites au cours des années (comme la distribution de Zipf ou le phénomène de rafale) . Nous abordons dans cette présentation les liens entre modèles probabilistes et distributions empiriques et montrons comment ces liens permettent d'expliquer un certain nombre de modèles de recherche d'information mais aussi d'en dériver de nouveaux. En particulier, nous introduisons une famille de modèles fondée sur la théorie de l'information dont le comportement sur la tâche de recherche d'information /ad hoc/ rivalise avec les meilleurs modèles utilisés jusqu'ici. Dans un deuxième temps, nous présenterons nos travaux récents sur l'acquisition de lexiques bilingues de corpus multilingues comparables. Au cœur de ces travaus se trouve une nouvelle caractérisation du degré de comparabilité des corpus multilingues, et un nouveau mécanisme d'enrichissement de tels corpus.