桂阳文庙为湘南四州之最。
文庙始建于后晋中(936—946)，历届倡修，清代最辉煌。康熙四十六年(1707)，知州伍士珙大修文庙，正殿5楹，东西各7楹，大城门、乡贤祠各3楹，气势宏大，为四州之最。道光二十五年(1845)，知州俞昌会又大修，以光文治。
桂阳自汉初建郡，二千余年矣，自古即人文荟萃，才俊咸集，有“楚南名区，汉初古郡”之称。据清康熙《桂阳州志》载：桂阳兴学始于东汉，“独景仰卫飒为能留心学校也。夫学非徒以示观瞻耳，其所以长人材、厚风俗，悉本于是，是必为之隆享祀之文，详礼乐之数”，“按旧志桂阳析监自五代晋时创立夫子庙，在郡左。”宋乾德元年（公元963年）毁于寇，四年复建。明洪武三年（公元1370年）依旧址置府学。岁久稍圮，万历十三年（公元1585年）州守罗大奎重修。至清顺治九年（公元1652年）冬十一月，文庙两厢起火，十四年修茸。其后州守袁继善以其规模狭隘，依旧制撤而新之。文庙大殿为三间，东西两厢为八间，前为庙门三间。门左为名宦祠，门右为乡贤祠，形成庞大的古建筑群，附设土地祠、敬一亭、魁星亭、棂星门、启圣祠、明伦堂、泮池等。千百年来，文庙屡建屡毁、屡毁屡建。清道光二十五年（公元1845年）知州贾亨晋修茸，道光二十七年竣工。占地878.49平方丈，‘殿庑堂皇，规划如制’，红墙、琉璃瓦。庙门系排楼式，棂星门上有二龙戏珠浮雕。庙东南角临街墙上嵌有‘文武百官至此下马’石碑。庙内分三级，第一级为广坪，第二级为‘大成殿’，殿前台阶下有巨型汉白玉浮雕斜卧双龙；殿内有孔子和先贤先儒牌位。殿后为第三级，有‘崇圣祠’。自后晋以来，文庙先后为桂阳监学、军学、路学、府学、州学学宫。
不过，桂阳文庙已被毁，未留遗址。
湖南桂阳文化园里有新建的文庙，除此之外，还有昆曲馆、博物馆、古戏台及民俗文化商业街等仿古建筑，免费参观。
