回雁峰山虽不高，因历史名人的诗文以它为典故者甚多，文因景成，景借文传，故名扬天下。唐代诗人王勃在《滕王阁序》中有“雁阵惊寒，声断衡阳之浦”佳句。伟大诗人杜甫曾居衡阳，留下了“万里衡阳雁，今年又北归……”的诗句。钱起、刘禹锡、柳宗元、杜荀鹤、王安石、文天祥、范仲淹 等都留有脍炙人口的诗文。文因景成，景借文传，故名扬天下 。明未清初大思想家、哲学家王夫之出生于回雁峰下王衙坪 ，北宋大理学家周敦颐从小在衡州舅父家成长，人文荟萃，使回雁峰名扬中外。
回雁峰为寿佛源头，地处衡阳市区中心，集“大雁文化、宗教文化、船山文化”三大文化品牌于一身，是探索湖湘文化起源的最佳旅游胜地，衡阳因此峰而得“雁城”之雅称。 回雁峰为中华寿岳“无量寿佛”的唯一供奉点，有诗云：欲往祝融拜圣帝，且来雁峰谒寿佛。
回雁峰有衡阳市城标——大雁铜雕、千年古刹——雁峰寺、衡阳古八景之冠——雁峰烟雨、潇湘古八景之一——平沙落雁、衡阳标志性建筑——回雁阁、王夫之纪念地——王船山出生地纪念馆。回雁峰的“雁文化”渊远流长，“雁”形建筑随处可见，有雁雕、雁亭、雁廊、雁壁等 。
1964年，中南局第一书记陶铸视察衡阳，倡导修复，辟为公园，部分完工，遇“文革”而停建。1983年，衡阳市人民政府重修回雁峰公园。景区有潇湘八景之一的“平沙落雁”，衡州八景之冠的“雁峰烟雨”，金碧辉煌的雁峰寺，雁城标志的雁雕，凭吊王夫之的此君轩等二十多个景点。赵朴初、唐天际、周轻鼎等当代书法名家的翰墨精品荟萃，王勃、陈宗契等古代文人骚客的诗文，陶铸的散文《松树的风格》为景区增添了光辉和文化内涵 。 回雁峰景区设计合理，布局巧妙，登回雁峰，南望东洲桃浪；北眺来雁塔，珠晖塔；东瞰湘江如带，百舸争流；西看岳屏胜景，高楼鳞次，车水马龙，令人心旷神怡，留连忘返。