在临湘市江南镇儒溪居委会长江边的儒矶山顶，有一座临湘塔，又名儒矶塔。这个塔八方七级，高33m.塔基条石铺成，塔身由青砖和条石砌成，是座实心塔，塔的各层有短檐挑出，檐角上翘，翘首成卷尾状，檐角下悬风铃，如今仅有数只残存，塔身四周设有佛龛，内置佛像，塔顶置莲花宝顶，宝顶上置有铜尖。
临湘塔建于清光绪七年（1881年），由时任台湾道台刘璈捐资主修，塔身嵌一方汉白玉质、由清代名士吴獬亲笔撰写的《临湘塔记》。
《临湘塔记》
为志者，最下。虽所为科举者计，宜志 科举者得之也。为设科举者计，使志科举者得之，尚不若不知所为志者得之也。不知所为志 者其不得之，不至无所不至。较专志科举者不差愈邪者。吾邑临湘东下八里，当流而崖者，为儒矶。或曰，邑得科举之鲜，造塔於是，得者必盛。或曰，是志科举者利也。彼志科举， 塔适成之。或曰，不疵塔之为道也，术也。是塔也成，志科举者不必得，不志科举者反得之矣。吾以谓：是塔也，能使共得科举，又能使专志科举者，不能共得者必不尽，罔罔焉应科 举者可知也。独吾邑之不幸而已邪。难者曰，凡为塔，未闻能使志科举者不得，志科举者， 何赖是塔为。曰，子安见专志科举者，肯以专志科举者者自名者邪。且塔之为道也，术也， 能使人心得科举，能使专志科举者不得。蜀犬不能使人不专志科举哉。吾邑福建分巡道刘君璈，当守浙江台州试造之，九年，而科举得数十人者也，乃倡造之。请记於侯黄先生。先生名庆来，为余师。勤於民，鲜假日。曰，子能为我记乎。
光绪七年十月邑人吴獬记
临湘塔，承载着临湘两位举足轻重的历史文化名人：刘璈和吴獬，他们有着惊人的相似之处。
一是都非常有才，被同为岳阳籍的湘军领袖人物左宗棠看中而器重。左宗棠任甘肃总督时，欲聘吴獬任其幕僚，吴以身体缘故推辞。吴獬后来致力与传道授业，终成一代教育大家，作《一法通》启蒙后世之人。而刘璈被左宗棠招入麾下，驰骋征战浙江，镇压太平天国，屡立战功。经左宗棠举荐，出任台州知府，继任甘肃兰州道台，之后又两次入台，出任台湾兵备道，主政台湾，抗法护台，可谓功勋卓越，广受民众拥戴。
左宗棠对刘璈信任有加，曾经上疏称:"共事多年，信心有素，于整军治民之事，必能补其缺漏，仰答恩知者也。"，其中可见一斑。1885年9月，左宗棠去世后，刘璈和吴獬二人不约而同作了情深意重的挽联：
相业亘古今，史凭忠耿一心，内攘外安，尽瘁手擎天柱赤；
思知逾骨肉，适值冤埋三字，山颓木坏，望洋泪涌海涛红。
——刘璈挽左宗棠
由乡贤而入阁，由幕宾而督师，建树虽多，殊遇有人惭地下；
曾辟书以求才，曾俸金以助试，拜瞻未遂，贱名无路附门生。
——吴獬挽左宗棠
二是都因为湘军和淮军不和而受到牵连。湘军首领左宗棠去世后，淮军首领李鸿章得势，排挤湘籍人士。吴獬在科考中遭受淮军领袖李鸿章之弟主考官李鸿藻排斥，论成绩本应该点为第一名进士，却定为第二十一名。刘璈则遭受淮军将领刘铭传的打压诬陷，革职查抄，险被处死，最后流放黑龙江，郁郁而终。
三是在职时都是爱国爱民的好官。吴獬曾经任广西荔浦知县，在任内放足禁赌，深得民心，后恨于不能解百姓之苦，愤然辞官从教。刘璈去台湾后，视事伊始，在强化国防、抗击法国侵略者外侮的同时，巡察台湾府城(今台南市)各处，着手改筑沟渠，清理污迹，扑灭疫疠，造福当地百姓。
正因为如此，两位临湘知名人士才志趣相投。刘璈当初在做浙江台州知府时，因当地多年科举不仕，在台州建塔，九年时间科举成功的人有几十人。为了家乡文化教育繁荣发展，刘璈在去台之前在家乡长江边依样建塔，并请县令黄庆来作序，黄转请吴獬作序，吴獬先生欣然应允，妙笔成文。
