云阳山系佛、道合一的宗教场所。古人称之为"可以避世，可以隐居"的神仙福地。宋代著名文学家黄庭坚、元代茶陵藉状元李祁、明代史部主事刘应峰、清代状元肖锦忠、晚清两广总督谭钟麟等历代名人所留题咏甚多。明代著名旅行家徐霞客也慕名前来控幽揽胜。

相传太上老君在紫微峰石窟“得道成仙”；南岳圣帝每年农历六月、七月都来此避暑静修。这里的道观、山寺始建于南北朝，1500多年来，一直被道佛两家视为“可以隐居，可以长生”的神仙福地，故有“古南岳”、“亚衡山”之称，是“神农福地，古岳圣山”。

民间则认为，南岳圣帝因为看中了这块地盘，所以在这里建造南岳宫，人们认为圣帝看中的地方肯定有“灵气”。这块地盘三面环山，背面的山较高，左右两山较低，像一张朝东摆放的“靠背椅”。民间传说把这“靠背椅”渲染得神乎其神。说这里原来没有后面的山和左、右的山环抱。后来，偷偷下凡到云阳山天鹅湖洗澡的仙女，见南岳宫建在峰下，洗澡不便，于是扔下三坨湿泥巴，变成了山，遮挡视线。