我国古代散文早在先秦时期就已得到充分的发展，当时的历史散文和诸子散文等，在今日的文学史著作中，几乎无一例外地被视为文学散文的先驱。然而在当时，散文并不是一种独立的语言艺术的审美形态，而是与其他实用性或学术性的文章混合在一起，包括哲学、政治、历史、文学、经济、法律、军事等所有门类的用散行文字书写的文章。这种状况启发我们又一次深切感到，文学艺术作为人类的审美需求，总是滞后于人类的实用需求。依照这样的理由，可以说，自从人类发明文字之始，当人类第一次用它来记录实际生活中语言交流的情况，散文也就诞生了。我国现今发现的最早的文字记载，是距今三千三百年左右的殷墟甲骨卜辞，如果依据广义的散文概念，完全可以说，那一片片甲骨上的散行文字，就是一篇篇简短的散文，而已发现的约十几万片甲骨文字汇总起来，就可称得上我国最早的散文集。甚至这还不是散文的源头。如果我们比照诗歌的发展状况，并承认诗歌曾有口耳相传的阶段的话，那么也应当认同散文也有口耳相传的阶段，也就是说，当人类有了语言，第一次用来表达或交流实际生活中的需要时，散文实际上也就诞生了。
魏晋南北朝以还，随着自觉的文学观念的建立，文学开始从其他学科门类中独立出来，人们对文体的认识也日渐深化。如魏文帝曹丕的《典论·论文》把文体分为四类：“夫文本同而末异，盖奏议宜雅，书论宜理，铭诔尚实，诗赋欲丽。”晋朝陆机的《文赋》将文体分为十类：诗、赋、碑、诔、铭、箴、颂、论、奏、说；南朝梁昭明太子萧统主编的《文选》，更将文体分为三十九类；而同时代的刘勰，在其《文心雕龙·总术》篇则总结出著名的“文笔说”：“今之常言：有‘文’有‘笔’。以为无韵者，‘笔’也；有韵者，‘文’也……别目两名，自近代耳”。综合以上这些文体分类实践和理论阐述，我们可以感觉到，当时人对于有韵的诗赋的文学特性，认识是清楚的。这比起先秦两汉时期，已是一个不小的进步。但对于无韵之“笔”抓即散文，却没有划清文学与非文学的界限。反映于散文创作的实践，便有这样的事实：当时虽然也有一些审美性的散文出现，甚至有极重形式美的骈文问世，但占据主流的，仍然是学术性或非学术性的论议和其他实用文章，骈文的形式通常不过是用来为这类文章增加一些文学的色彩而已。不仅魏晋南北朝如此，通观中国古代社会，人们对文学散文和非文学散文始终没有清楚的认识，因此散文的文学性，通常总是依附于原本非文学的文体门类而得以体现，并随之发展，如历史散文、诸子散文、游记散文、笔记散文等等。这实质上也是对作者的一种无形引导，使他们更加深了注重实用的意识，这是我国古代散文发展的重要特点。
至于注重其文学性的、狭义的散文概念，是受着西方文艺理论的影响，在近代才建立起来的。在此之后，散文的审美特性才得以独立并得到张扬。正是在这个意义上，文学散文又或称作“美文”、“抒情文’等，但这毕竟是很晚才出现的事。