多模态话语分析的四个层面：文化层面、语境层面、内容层面和表达层面。
文化层面是使多模态交际成为可能的关键层面。交际的传统、交际的形式和技术都是由这个层面来决定的。没有这个层面，情景语境就没有解释能力。这个层面包括由人的思维模式、处世哲学、生活习惯以及一切社会的潜规则所组成的意识形态，和可以具体实现这种意识形态的交际程序或结构潜势，称为体裁。
在具体的语境中，交际要受到语境因素的制约，包括话语范围、话语基调、话语方式所决定的语境因素。同时，这个过程还要实现所选择的体裁，以一定的交际模式进行。在话语意义层面，有由话语范围、话语基调和话语方式所制约的概念意义、人际意义和谋篇意义。
在形式层面上，不同模态的形式特征相互关联，***同体现话语意义。在这个层面上，每一种模态都有自己的形式系统，如视觉语法、听觉语法、触觉语法等。探讨这些不同的语法系统是比较难的研究课题，因为视觉语法、听觉语法都不像语言的语法那样确定。
而是具有相当大的主观性，需要做长期的研究才能发现它们的内部运作规律。但更加重要和更难的是发现它们之间的协调、联合、互补等关系。所以，目前多模态话语研究的重点还是不同模态的形式特征和它们之间的关系。