“大学”二字最早出自儒家“四书五经”之一《大学》。该书作者为孔子弟子曾参，作者在书中以短短几千字阐述了儒家思想修习之要，微言大义。对于“大学”二字的解释，南宋鸿儒朱熹的“大学者，大人之学也”流传最广，后人多沿用此说，认为“大学”指具备一定道德修养之人通过行为与学问的统一所进行的自我修炼。另外，也有人比照古时的“小学”来解释“大学”。古时的“小学”指每个人在13岁之前所接收的教育，“小学”学习“小艺”，包括“礼、乐、射、御、书、数”六艺；而“大学”则是指学习称为“大艺”的“诗、书、乐、易、礼、春秋”六经。

从这两种解释中，我们都可以看出古时的“大学”体现为一种教育理念与教育内容，相当于现在我们所说的“大学教育”，与我们现在纯粹指从事高等教育的机构的的意思是不一样的。另外，古时的“大学”与我们现在所说的“大学教育”也是有区别的，古时的大学偏重于提高个人修养与“修身齐家治国平天下”的意味，而现在的大学教育则要宽泛得多，泛指学习既定的学科知识与提高一般性的个人修养，标准是降低了的。

按照一个人学习所达到的深度与广度来说，中国古时是存在大学的，只是各个历史时期有不同的名称。据史料记载，在虞舜之时，即出现了名为“上庠”的公办学校，“上庠”即“高等学校”的意思；而春秋时期，孔子在自己家里开堂讲学，因为没有严格的学校制度与象样的教学设施，说大学可能有些勉强。但到了汉武帝时，由国家在京师所办的“太学”则是相当正规的大学了，太学不仅设五经博士任教，而且作为官办学校首次对贫家子弟开放。太学一直存在到明代；之后国子监兴起，成为典型的国办“大学”，一直持续到清末。另外，唐代末期，除官方“大学”，民间开始出现私人设堂授徒的书院，尤其到宋代，书院大盛。书院相比于孔子等人的聚众讲学，因为有固定的教育场所与相当严格的学院制度，完全称得上是“大学”了，书院一直和官方“大学”共同存在，到清末才消失。