中国教育传统非常悠久，夏朝时便设有“序”、“校”、“庠”等专门的官方教育机构，后来商朝则增加了“学”和“瞽宗”，周代的官方学校则大致沿用了夏商时期的校名，并进一步完善了教育制度。夏商周时期的官方学校只针对贵族子弟而设。

除官学之外，春秋时期，由于统治阶层力量削弱，学术出现下移，以孔子为代表的民间私学兴起。虽然就教学设施与教学制度而言，孔子的“传道之所可能算不上学校，但就其教育理念与教育内容而言，也可以算是学校了。

无论官学还是私学，早期的教育对于“小学”、“大学”的区分，虽然不像现在这样严格，但还是有的。比如早在西周的贵族学校中，针对不同的年龄段学生，所教的内容已有所区分。对于刚入学的幼小子弟，有专门为他们而设的小学课程，具体内容为“六艺”，即“礼、乐、射、御、书、数”。其重点在于基本的识字教育、德行培养、情操陶冶、身体锻炼；而对于年龄稍长的儿童，则开始更高一级的教育。孔子在自己的私学中，也继承了这种教学制度，先教小学部分的“六艺”，然后是以“诗书易，礼春秋”这六经为学习内容的“大学”部分，以期学生担负起闻道救世的重任。

后世的学校则继承了早期的这种划分方法，形成了教育的“蒙学”、“大学”两阶段制。“蒙学”各代名称不一，诸如“四门小学”、“内小学”、私塾的“蒙馆”等都属于此，相当于现在的小学教育。蒙学之后，则是“大学”教育。一般而言，古代的小学阶段指学童13岁之前，这时的先生主要教其识字、背诵，13岁之后则对学生讲解文章的义理，并教授做文之法。

对人文学科来说，这种“小学”、“大学”二分法的教育是非常智慧的，北宋文豪苏辙的“早岁读书无甚解，晚年省事有奇功”便道出了这种教育模式的优点所在。

另外，现在的“中学”教育在古代虽然没有单独划出来，但也并没有跳过去，而是包含在“大学”教育之中。毕竟一个人的学习规律是古今如一的，不可能跳过哪个阶段，区别只在于是否有外在的具体划分罢了。