塔下寺，亦名回龙山寺，明万历以前称净住寺，因誉为“峭塔凌霄”的传芳塔建在寺中，寺处塔下，故习称为塔下寺，为湖南省内塔寺俱存的孤例。
塔下寺传为唐宗古刹，占地二十余亩，明清至民国均有修缮之载。寺前紧邻舜水河，周围香樟古槐，苍松翠柏环绕。据民国县志记载，兴盛时有大士阁、文昌阁、霞爽阁、观澜亭、水心亭、飞云亭、清音堂、祈嗣堂（注生堂）、传芳塔等名胜。寺庙亭堂高低错落，掩映在幽静雅洁的环境中，前人题联赞曰：“西域无双境，南平第一山”。以祷以游，应接不暇，为旧时县境十三寺中香火最旺者，是永州三大佛教圣地之一。
塔下寺现有的传芳塔，为明代重建，七级八角，高插云霄；塔左有戒堂，为封山式阁楼建筑；塔前是大雄殿，硬山式殿堂建筑，占地一百九十二平方米，内原供设如来佛祖，左右立十八罗汉，二十四诸天神，门首悬“大雄殿”匾额；再前是山门，为砖构牌坊式建筑，正面上书“三蓝一景”，联为“源流舜水，道衍湘山”，背面有联曰“举足登阶，便抵乘灵飞锡杖；回头是岸，未妨送客过溪桥”，横批为“境胜祗园”。山门左侧有观浪亭，四角攒尖重檐回廊式建筑，上奉奎宿，称魁星楼，底层悬“观澜亭”石刻匾额，在石门框上阳刻联曰：“层出云亭光翼轸，环吞舜水化鱼龙”，亭与山门之间有观音阁，内原供千手观音，门前联为：“度一切苦，现千手身”。该寺原有记述塔寺的碑刻数十坊，现只镶嵌在墙中的十三块幸存。登临游憩，宝塔高耸，寺庙错落，寺前钟水奔腾，寺后古木参天，遥望西南群山，一片深蓝，城郭村庄，炊烟缕缕，别具秀丽风光。
塔下寺北侧有解放军烈士墓，修建了烈士纪念亭。
塔下寺不要门票。
