1905年夏天，11岁的叶圣陶由舅父带领，去参加道试。坐在考棚里的他，似乎并不在意考试，却念念不忘装在篮子里的马铃瓜，先吃了个精光，然后，孩子气十足的他才匆匆地答完卷子出场，自然没有考中秀才。他可能根本没有想到，他参加的是中国历史上最后一场科举考试，第二年清王朝即发布上谕：“从丙午科（1906年）起所有岁科考试、乡试、会试一律停止。”他更没有想到的是，中国的教育从此陷入了历史上最为混乱的时期，而他，注定要在中国教育史上留下光辉的一笔。
因为家贫，叶圣陶很早就做起了孩子王，他个头矮小，一开始颇受学生轻视，但很快就因为亲近爱护尊重学生而被喜爱，他说：“（我）决不将投到学校里来的儿童认作讨厌的小家伙，惹得人心烦的小魔王；无论聪明的、愚蠢的、干净的、肮脏的，我都要称他们为‘小朋友’。那不是假意殷勤，仅仅浮在嘴唇边，油腔滑调的喊一声；而是出于衷诚，真心认他们作朋友，真心要他们作朋友的亲切表示。” 然而此后的路并不好走，时局不稳，学界污浊，从小学到中学，从中学到大学，从普通学校到北大复旦这样的名校一直到教育部副部长，叶圣陶一路走得踉踉跄跄，正是在这样的踉跄中，关于语文教学的思想逐渐形成。
叶圣陶的语文教学思想，最重要的有两点，一是明确了语文教学的性质，提出了现在备受争议的工具论，二是明确了语文教学的任务，即帮助学生养成使用语文的良好习惯。
在叶圣陶看来，旧式教育是守着“古典主义”和“利禄主义”的，“可以养成记诵很广博的‘活书橱’，可以养成或大或小的官吏以及靠教读为生的‘儒生学员’；可是不能养成善于运用国文这一种工具来应付生活的普通公民”。而“五四以来国文科的教学里，专重精神或思想一面，忽略了技术的训练，使一般学生了解文字和运用文字的能力没有得到适量的发展，未免失掉了平衡”。针对这两种情形，接受了杜威实用主义思想影响的叶圣陶旗帜鲜明地提出，语言是交际的工具，是思维的工具，语文教学，就是要运用这个工具培养学生听说读写的能力，培养学生适应生活需要的能力。五十年代以后，重政治思想轻语文训练之风愈演愈烈，叶圣陶又一次强调指出：“语言是形成思想的工具，是认识世界的工具，语言教育的另一个主要任务是发展学生的思维能力。”遗憾的是，在今天的语文大讨论中，我们往往忽视了叶圣陶提出工具论的大语境，将应试训练理解为叶圣陶所说的语文训练，从而对从未真正落实过的语文训练大加鞭挞，对含有巨大进步意义的工具论给予全盘否定，这是非常可惜的。当然，简单地将语言视为工具，是有局限的，这一点，已经被许多有识之士指出并在新课标中得到了修正。
语文教学（不止语文教学）要帮助学生养成好的习惯，无论在中外，这都不是一个新鲜的说法，但是把它提出来作为语文教学的根本任务并且形成一种系统完整的教育思想，则始自于叶圣陶。他说：“教育是什么，往简单方面说，只须一句话，就是要养成良好的习惯。”“教师工作的最终目的，无非是培养学生具有各有良好的社会习惯。”叶圣陶先生所说的良好的习惯，包容极广，指的是整个人生各方面的习惯。在叶圣陶看来，养成一种良好的习惯，不仅是为了使学生掌握良好的行为方式，还是一种从自觉自强到自动自然的实践过程，包含着素质教育与终身教育的内涵。这种最朴素的教育思想，它的价值还没有引起足够的重视，这，恐怕是语文教学至今仍然少慢差费的一个重要原因吧！
除此之外，叶圣陶还强调要培养学生的自学能力。他曾经说过：“语文教材无非是例子，凭着这个例子要使学生能够举一反三，练成阅读和作文的熟练技巧；因此，教师就要朝着促使学生‘反三’这个标的精要地‘讲’，务必启发学生的能动性，引导他们尽可能自己去探索。”基于此，他提出，教是为了不教，对建国后的语文教育产生了很大影响。
从1923年执笔撰写第一部继承五四精神的新学制中小学各科《课程标准纲要》，到1949年为新中国亲自草拟《中学语文科课程标准》，叶圣陶在语文教材建设上的贡献或许还没有第二个人能够赶上。不但如此，他自己还亲自编写了数十部教材，并为汉语言教材定名为“语文”，奠定了语文教材的基本框架。
叶圣陶是一个沉默的人。一辈子沉默着做着自己的事情，老师，编辑，作家，在任何一个领域内他都达到了极高的成就。单就做老师而言，他与亲家夏丏尊合写的《文心》当年在中学生中风行，一时洛阳纸贵，《精读举隅》（与朱自清合作）《文章评改》《文章例话》《文章讲评》等也如涓涓泉流，半个世纪以来一直滋润着中国语文。他的诚恳，他的责任心，他对于国事的大悲悯，统统化为平和，并内化为一种人生习惯，而这里面所包含的情怀，怎能不让人感叹再三？