风雨问当年，流寓星沙，客恨曾题临水阁
江山留胜迹，何分湘蜀，诗魂尚系浣花溪
据史记载，唐大历三年秋，杜甫友韦之晋调潭州剌史，投之待至而韦卒，甫以贫病之身客居长沙。初，甫寄舟中，泊南湖港。近港之驿楼，迎别友人之所也。甫两别刘判官，诗云“杜陵老翁秋系船，扶病相识长沙驿”、“他日临江待，长沙旧驿楼”。后移居湘边佃楼，或在长沙小西门一带，自称“江阁”。有《江阁对雨有怀》诗云“层阁凭雷殷，长空面水文”、《江阁卧病走笔》诗云“客人庖厨薄，江楼枕席清”。杜于江阁中，曾晤苏涣，有《呈苏涣待御》诗云“茅斋定王城郭门，药物楚老渔商市”;又晤李龟年，有诗云：“岐王宅里寻常见，崔九堂前几度闻。正是江南好风景，落花时节又逢君”。江阁遗迹早不存矣，而今得于原址重建之。
诗圣杜甫，晚年两度驻足长沙，曾寄居江阁，在长沙留下诗作五十余首。为纪念这位被历代人民爱戴的伟大现实主义诗人和世界文化名人，长沙市人民政府，在湘江风光带兴建杜甫江阁。杜甫江阁是杜甫在湖南的很长一段时间的住所，是湖湘文化和杜甫全方位接触的一个契合点，是和杜甫的不解之缘。