国子监最早由隋炀帝改“太学”而成，当时主要负责全国的教育行政管理，其职能大致相当于现在的教育部。其后历代均在都城设有“国子监”，其职能也有所变化。

唐代先后在长安、洛阳设立国子监，下设国子、太学、四门、律算、书等六学，国子监本身依旧主要承担教育行政管理职能。至宋代，国子监开始具有贵族学校的功能，招收七品以上官员子弟为学生，并一度成为全国最高学府。后因这些官员子弟往往只是挂名，并不上课，学校不成气候，其最高学府职能仍被“太学”代替，国子监只负责全国教育行政，掌管全国学校。另外，宋代之前的国子监，除了教育管理职能之外，还附有监督功能，可以弹劾官员和参议国家政策。宋代之后，此职能逐渐淡化。

元朝以后，国子监均同时作为国家的最高教育行政机构和最高学府，隶属礼部。在国子监读书的学生称为“贡生”或“监生”。明代因永乐皇帝迁都北京，国子监分为北京的“北监”和南京的“南监”，也称“北雍”和“南雍”。至清代中期，国子监变为只管考试，不管教育的考试机构；清末，国子监沦落成为卖官机构，凡依照规定缴纳一定数额的钱给朝廷，即可成为“例监生”。慈禧太后的父亲便是一个“例监生”。

清光绪三十一年（1905年）科举制度废除，国子监也遭取消，新设的学部成为教育行政机构，后来学部在民国初年变身为教育部。

“祭酒”一职，是自古对掌管教育的官员的固定称谓。早在“国子监”之前的汉代太学就已经设立“博士祭酒”，为太学最高官员；西晋设有“国子祭酒”；隋唐模仿晋制设置“国子监祭酒”，官职为从三品，为国子监最高领导，此制度沿用至清代末期。至于“祭酒”一词的来源，据说古代人宴会或祭祀时，推选一个年高望重的人先举杯子为祭，称之为“祭酒”。古代社会一向尊崇老人，也重视祭祀，因此将“祭酒”作为负责教育长官的称谓，也是古人重视教育的一种表示。