五代后晋时（940年前后），吴越国广陵王钱元镣在南湖畔建楼舍为“登眺之所”，其时并无“烟雨楼”之名。据《至元嘉禾志》载，烟雨楼三字始见于南宋吴潜《水调歌头·题烟雨楼》词。湖畔的烟雨楼虽几易其主，选经兴废，但一直是观赏湖光的佳处。明嘉靖二十八年（1549），嘉兴知府赵瀛在湖心岛上建烟雨楼，从此楼在湖中。后几度修葺，至明末楼毁，清初再建。主楼坐南朝北，面对城垣。到乾隆帝南巡时，烟雨楼改建为南向而北负城郭。
乾隆六下江南，多次登烟雨楼，一再赋诗，备致赞赏，曾亲画烟雨楼图。刻石置于楼中，并照此楼的样式在热河承德避暑山庄的青莲岛上仿建一所楼阁，亦名烟雨楼。清同治初年，烟雨楼又毁于战火，直到民国7年（1918）才重建主楼，形成现在的格局。抗日战争期间，烟雨楼被日寇强占作“华中铁道公司”食堂，抗战胜利后才恢复开放。建国后，党和人民政府多次大力修葺，古老园林焕发新貌。