唐代诗人王勃在《滕王阁序》中写道：雁阵惊寒、声断衡阳之浦。可见回雁峰之名，在唐时以前已为世人所知。回雁峰名称是如何来的？一说相传北雁南来，从秋到春，不再向南飞过这座山峰，在这暖和适宜的地方度过寒冷的冬季，待春汛到衡阳，仍然往北飞回。
所以叫回雁峰。北宋政治家、文学家、思想家王安石诗云：万里衡阳雁，寻常到此回。从此，名声远播，愈为人晓。还有一种说法，是以山峰的形状得名，说它整个地貌，就象一只鸿雁伸颈昂头，舒足展翅，将要腾空飞翔的气势。这两种说法相辅相成，遂使它步入天下名山盛景之列。峰之名实质，始自何年？也是众说纷纭，无可考证。唐代诗人王勃在《滕王阁序》中写道：雁阵惊寒、声断衡阳之浦。可见回雁峰之名，在唐时以前已为世人所知。明代诗人陈宗契（衡阳人）《咏南岳诗》：青天七十二芙蓉，回雁南来第一峰。是回雁峰作为南岳七十二峰之首，已早为地方史册记载。清人题衡阳八景，首句即为雁峰烟雨实堪夸，雁峰烟雨被列为衡阳八景之一，也是潇湘八景之一，即雁落平沙所在地方。
在回雁峰北眺城区，高楼大厦，鳞次栉比，车马喧哗，华灯初上，满缀明珠，管弦之声，不绝于耳；东望湘水、船山浮翠，桃浪泛红、白帆点点，碧波粼粼，长桥卧空，彩虹飞跨；西瞰岳屏，楼台亭榭，掩映于绿树丛荫之间，嘉木葱茏。丰草绿荫，别有一番景色。烟雨池，在峰下西北。依山傍水，一泓清泉，池广约十丈，水清可见底，周以石栏，相传春暖花开，池水蒸腾，早晚雾气冉冉上升，弥漫空际，呈现出阳春烟雨，蔚为壮观。游人至此，洗尽闹市嚣尘，雅趣横生，可惜因战乱，昔日的烟雨池被毁。今日的烟雨池，筑于峰之西麓，上有名人题字，下有金鱼戏水，乐处犹胜当年。回雁峰景色，四季宜人，奇花异草，茂林修竹，亭阁楼台，碑廊画壁，蔚为奇观。春则花香袭人，夏则林荫蔽日，秋则澄江似练，冬则蜡象装银，游人对此锦绣江山，爱国之情不禁油然而生了。