香零山，系天然石矶组成的小岛，高约20米，东西宽约20米，南北长15米。独耸潇水河中，犹如中流砥柱。香零山主体分为上下两层中间有木式楼梯相连接，山顶建有观音阁。
一说零陵之名，就是由于这个石岛演化而来的。 传说西汉元鼎六年(公元前111年)，汉武帝开始建立零陵郡时，香零山景色秀丽，盛产一种名贵的香草，形状很象芳香的"罗勒".清香四溢,胜于椒兰。 皇帝知道了，便定为"贡品"; 年复一年，贡品数量逐年减少，香草采尽，仍满足不了皇宫的需要。采集贡草，终于成了百姓的苦役，不少人只好背井离乡。到了唐代，郡守韦宙，将香草采尽的实情奏明皇帝，方获免贡。传到清代，香草就已经绝迹了。
香零山随潇水水势而展现不同的风光，势浩荡则如汪洋中之一小舟，水势弱小则岛亭昭然挺立。若雨后日出，烟锁山脚，雾雨朦胧，往来舟楫，若隐若现，给人一种烟波浩渺的意境，因而有“香零烟雨”之称，为永州八景之一。
柳宗元曾作《登蒲州石矶望江横口，潭岛深回斜对香零山》诗，怀念香零山美景。
香零山门票：50元，船票10元。
