鉴湖书院位于余田乡下冲村后的石山中，系清咸丰十年（1860）兴建，同治十一年（1872）落成。乃西河三镇（即今余田、浩塘、飞仙、十字、古楼、樟木、六合七乡）之文化摇篮。《桂阳直隶州志·卷十·学校》云：“州西四十里鸬鹚塘，塘多鸬鹚故名。广五十余亩，四时不竭，水清可鉴。前面浮图秀坐若笔。乡人于其地新立鉴湖书院。”光绪九年（1884），钦命山东巡扶部院俊臣陈士杰到此视察，览其境，游其胜，昭其宗，曾为之撰文作序，曰：“鉴湖在州治四周遭石皱中拓一区，宽若千亩，池水如镜，莹莹可以照人。遥对古塔，卓荦如笔。每逢清霁，塔影倒映，清光荡漾，金碧交辉，真天然图画出。多士讲学其中，蚤暮讽育经史，暇则赁临湖上思，所以涤虑洗心，而完其本然之性。上可浠淙濂洛，次亦不失为有道之儒。其所以副耆宿之望者，岂仅博取区区科第云耳哉！”
鉴湖书院占地面积16000多平方米，计大小房60余间，为一高厚垣墙围着，形似孔庙。整个书院依山势构筑，“殿庑堂皇，规划如制”，三阶四层井然有序。书院前面于东西围墙各辟小门一条，东门书“贤关”，西门书“圣域”。自东门进，是一空坪，为一条贯通东西门的石板路切分为两大块，路左设花池，路右为书院门前的石级分为两小块，东西各有古柏一株。此为第一层。登数石级便是书院大门，大门两柱有木质阴刻对联一副：“何处溯渊源，地转鉴湖成泗水；于斯堪景仰，天迥塔邮作东山。”门顶匾额镶嵌着陈士杰书写的“鉴湖书院”四个大字，笔力遒劲，玲珑隽逸，金光四溢，至今完整无缺。大门前两旁的一对“石狮戏石鼓”，颇为壮观。从大门进去二重木门。大门左耳环是书院主持人办公、住宿之所，右耳环是“鉴湖局”所在地。自木板门进，中有条石大道贯穿，八角亭矗立于大道之中。亭高四层，楼阁正右悬挂着“高山仰止”匾额。亭前左右设有花池，环境清幽，四时繁花似锦；亭后左右花池各栽桂树一株，绿茵如盖，芬香溢鼻。层左之厨房宿舍与层右之仓库、宿舍、遥相对望，此为第二层。沿条石大道，再登数石级，往里进为第三层，即大成殿。大成殿是奉祀孔子的地方。正殿上端置“至圣先师孔子之位”的牌位，大殿两柱悬着一副对联：
今人与居，古人与稽，亦为明鉴；
澄云不清，浠云不浊，有如此湖。
殿前殿后，均为花池。殿左右是自修室，每室有两张大方桌，可供八人自修。
沿左右两走廊登数石级进入第四层，即院正厅。正厅左右有房四间，为教务人员办公、住宿。厅两侧为讲学堂。
如果登上书院背后的青云山，书院美景一览无余，尽收眼底。大成殿、八角亭、大门顶上的壶颅口与古塔顶尖恰成一条直线，可见设计者与建设者的独具匠心。
鉴湖书院以博学、审问、慎思、明辨作为治不修身处事之序。书院改为学校后，其培养目标更为明确。有校歌曰：
佳哉鉴湖，源澈洙泗，学派实有宗。
宝塔凌云，钟水环校，圣地灵有钟。
亲爱精诚，互相砥砺，切磋琢磨功。
矢诚矢勇，必信必终，砥柱中国中。
其弟子来源，除西河三镇外，还有嘉禾、临武、蓝山、常宁等地的有志青年。莘莘学子，孜孜不息，读经颂传，人才辈出。仅1945年改办成湖南私立鉴湖中学所招收的八个班，共289个学生中，名人有湖南大学教授李全华、湖南省荣誉社会科学专家、湖南师大教授刘城淮、东北大学教授刘君堂、怀化玻璃厂厂长兼工程师罗建章、中山医科大学教授刘培琼。
鉴湖书院石碑记载：“鉴湖在州治西周遭石皱中拓一区，宽若千亩。池水如镜，莹莹可以照人。遥对古塔，卓荦如笔。每逢清霁，塔影倒映，清光荡漾，金碧交辉，真天然图画也。多士讲学其中，蚤暮讽诵经史，暇则赁临湖上思，所以涤虑洗心，而完其本然之性……岂仅博取区区科第云耳哉!”碑间较多的文字在赞叹书院门前的鉴湖(当地人称此湖为鸬鹚潭)景象之美，可见鉴湖的美景可以涤荡人的心灵。
除了书院，鉴湖的景色也很美，游完书院后，可以游湖，领略自然风光。
