Un modèle de langage tente d'estimer la distribution jointe d'une séquence de mots extraite d'un corpus, en se restreignant typiquement aux dépendances à l'intérieur d'une fenêtre de taille fixe afin de contrer le problème de la faible densité des exemples. Nous proposons quelques variantes de ce schéma dans lesquelles des variables représentant le sens des mots jouent un rôle. La structure de ces modèles et les valeurs que peuvent prendre les variables sont contraintes par une ontologie de sens et de concepts extraite de WordNet à partir du vocabulaire. L'introduction de ces variables présente l'avantage de lisser implicitement la distribution en permettant de généraliser à des séquences de mots inconnus, reliés par des sens ou des concepts partagés avec des mots connus. Étant donné que les corpus d'entraînement ne contiennent en général que l'occurrence des mots, les paramètres du modèle sont appris à l'aide de l'algorithme EM.