杨山庙位于吴集老街。传说上古时期，炎帝带领杨山侯、灵山侯、洪山侯治理洣水，因操劳过度，四人先后病逝，葬于风光秀丽的洣水河畔，洣水也因此被称为“圣水河”。杨山侯葬在今天的衡东县吴集镇，后人感念他的恩德建杨山庙来祭祀他，尊为太古灵侯，香火旺盛。杨山庙始建于明嘉靖年间，清乾隆年间重修，现为省保单位。

杨山庙的庙门装饰极为繁杂，顶部是 " 八仙过海 " 浮雕，下面则是各种历史故事大集合，包括 " 桃园三结义 "" 三顾茅庐 "" 千里走单骑 "" 空城计 " 等，以三国演义故事居多，中间竖牌匾上书 " 太古灵侯 "，想来杨山侯所处的年代，的确可以说是 " 太古 " 了。洣水在古时多泛滥成灾，吴集在水边低洼处，多受其害，因此纪念治水之神，祈求平安也在情理之中。