380多年前，徐霞客前往祖国大西南考察游历，途经当时的湖南衡州境内，在南岳衡山、衡州城都进行了游览考察后，乘船溯湘江前往广西。
徐霞客三进衡州府，在城中逗留时间，前后达36天。对于明末衡州府的山水、城池、街市、寺观、园林等，都有详细记载，成为后世不可多得的珍贵资料。
“萧管孤舟悲赤壁，琵琶两袖湿青衫。滩惊回雁天方一，月叫杜鹃更已三”。这首诗就是徐霞客舟行夜过湘江云集段写下的，《楚游日记》中载：“及入舟前晚，则潇湘夜雨，此夕则湘浦月明，两夕之间，各擅一胜，为之跃然。”
不过时值明末动荡时节(徐霞客刚走没多久，张献忠的农民起义军就打进了衡阳，火烧了藩王府)，徐霞客的衡阳之旅颇为惊险，徐霞客游记旅游行程三大“恶人”之“衡阳劫盗”---不但是徐霞客在湖南遭遇的第一次匪患，也是他一生中最惊险、最惨烈的经历：
那年二月初十日，徐霞客与静闻和尚（旅伴）、顾行（家仆）乘船出衡州往永州，第二天晚上，客船停泊在衡南境内的“新塘站”（如今地还在）。深夜里，一伙流贼先以一男孩哭泣诱骗（引船上好心人靠岸），静闻不忍心，上岸去察看，回船时，流寇趁跳板还没撤，从河滩草丛里冲出来，点燃火把扑上客船，闯进舱室挥舞刀枪向客人乱戳乱砍。
船客们在狭窄的空间里躲无躲处、逃无逃处，为保命只得掀开船蓬、赤身裸体往冰冷的江里跳（湖南二月份接近最冷之时，深夜接近0度）。
最后赤身投江，免了一死，虽然竟然毫发无损，性命是保住了，行李却损失殆尽，珍贵的书籍和重要的信函也片纸不见，更惨的是携带的盘缠分文无存，钱财虽身外之物，无钱寸步难行，好在身为富豪之家，朋友遍地，不乏官家--最遗憾地是自此得了大病，伤了元气，三年后西南之旅结束到家后，很快去世了！
