寺庙位于城区五里处的耒水东岸，紧临京珠高速公路。三面环水，峻峭挺拔，层峦叠障，交通便利。有诗曰：“白云霭霭鹿岐峰”，成为耒阳八景之首。
史载：汉代名儒苏耽，在此悟道升天；明朝状元罗洪先，在此修炼成道。山上至今有苏仙庵、苏仙亭、八卦井、升仙石，缥缈于白云中。鹿峰寺建于何时，尚未找到史料考证。
1990年，寺庙重建，内有鹿岐峰碑壁，收集古今吟咏鹿岐峰和耒阳的诗词近百首。碑壁上盖琉璃瓦，墨玉石镌刻，气势恢宏。清代大书法家何绍基曾长期寓居于此，明状元罗洪先留下的“鹿岐胜概”手迹尚存。
“鹿峰寺”及“鹿岐峰碑壁”为中国佛教研究所长吴立民所提。从寺庙右侧，有八卦井，井水清澈见底，富含多种微量元素，当地人传说可治百病。山中空气清新，峰顶经常云雾缭绕，古木参天，流连其间，如入仙境。
