La modélisation de l'interprétation linguistique pose non seulement le problème de la modélisation du sens des phrases ou des énoncés, mais aussi celui de la modélisation du contexte. Quand le langage est utilisé dans une situation de dialogue incluant un espace visuel partagé entre les interlocuteurs, le contexte inclut en première approximation deux facettes complémentaires : le contexte linguistique (ou historique du dialogue) et le contexte visuel. La modélisation de l'interprétation linguistique doit ainsi reposer sur ces deux facettes. Des éléments visuels aussi bien que linguistiques peuvent en effet être à l'origine d'inférences, de présuppositions, et bien entendu de références à des objets. On peut alors envisager un modèle d'interprétation qui raisonne sur ces éléments multimodaux (modalité visuelle et modalité linguistique), plus précisément sur des représentations liées aux objets référés.