最早的孔庙相传建于公元前478年，也即孔子去世第二年，鲁哀公将孔子在曲阜阙里的三间故居改建为庙。里面陈列孔子生前所用的衣冠、车、书、琴等遗物，并每年按时祭祀，这就是最早的孔庙。

孔庙立成后，汉代对孔庙只做了简单修补。隋唐时期，孔庙开始扩建，超出孔子古宅范围。至宋代，宋太祖赵匡胤以文立国，对孔庙更是大肆扩建，使之成为了拥有300多间房的建筑群。1214年，金人入主中原，放火烧孔庙，将殿堂与书籍全都烧毁，据说孔子亲手栽种的有1200多年树龄的三棵桧树（刺柏）亦被焚毁。其后金人为取得汉人文化认同，以原来格局重修孔庙，但在战火中多有毁坏。之后经过元代的几次修葺，再加上明代洪武、永乐、成化各朝扩建修整，孔庙才恢复了宋代的规模。明弘治年间以及清雍正年间，孔庙两次遭遇雷击造成火灾。雍正皇帝对其相当重视，火灾后亲自前往孔庙拜祭。并以为是自己对孔子尊崇不够才遭了天谴，于是下令提高规格，以帝王宫殿之制重建孔庙，于是历经劫难的曲阜孔庙最终成为今天的样子，这是世界上最大、历史最悠久的孔庙。

最早的国立孔庙出现在北魏时期。当时入主中原的鲜卑族皇帝孝文帝为实现汉化，实施了包括迁都洛阳在内的一系列措施，并在当时洛阳建立了第一座位于京城的孔庙。其后，唐贞观四年（公元630年），皇帝下令各州县学校都要有孔庙，自此孔庙遍及中国。后来京城的太学和国子监内皆建孔庙。另外，随着儒家文化在中国周边地区的流传，越南、朝鲜、日本等地都兴建了许多孔庙。

唐玄宗于开元二十七年（公元739年）封孔子为文宣王，因此，孔庙又被称为文宣王庙。明永乐年间，因供奉关公的武庙多建于孔庙旁，民间就把与武圣人并列的文圣人孔子的庙，称为文庙。除此之外，孔庙还有其他几种名称：至圣庙、宣圣庙、夫子庙、先师庙、儒学庙、学宫等。