雁山园由唐岳建成至新中国成立前经历了三个阶段，即唐岳时期的雁山别墅、岑春煊时期的西林园、民国时期的雁山公园。
唐岳时期的雁山别墅（1854—1907年）唐岳（1821—1873），原名启华，字仲实，号子实。清道光元年（1821）二月十二生于临桂县大岗埠村的一个书香世家。对于唐岳修建雁山园的时间和状况，《桂林古建筑研究》指出：“唐岳于四十四岁这年利用家中的钱财，建了一座供自己享用的私家园林。他相中了雁山下村旁的一块依山傍水的荒地，在反复研读《红楼梦》、参考大观园和上海豫园的基础上，聘请著名的造园家、画家、建筑师为之精心设计，并动员了临桂、灵川大量民夫、能工巧匠精心施工，大兴土木、构筑园林，前后达四年之久建造而成。”而根据唐氏后人的说法，雁山园的修建是先建涵通楼、澄砚阁、大门、道路、河堤、玄珠桥等，而后才是治理桃源洞和修建碧云湖舫等其他一些建筑。唐岳选中并买下了在桂林西南24公里永安村（今雁山下村）旁的一处依山傍水且距其家乡只有四公里的一块宝地。他经过几年的构思，反复研读《红楼梦》，并参考大观园和豫园的样式，营造雁山园。这一说法与历史上的相关记载较吻合。
唐岳曾师从池春生，后就读于桂林秀峰书院，师从桐城派姚鼐的再传弟子吕璜。1851年，太平天国运动在广西桂平爆发后，清廷当局命令各省举办地方团练，由当地有名望的乡绅来主持，唐岳协助其父唐仁主持大埠乡的团练。然而，太平军势如破竹，以唐仁为首的团练根本无力抵抗，唐家的老宅院也被战火烧毁。太平军挥师北上后，唐家以家园被太平军烧毁为名，向当局要了一笔钱来重建家园。
道光、咸丰、同治年间，正是岭南建造园林的鼎盛期。唐岳很早就开始关注和研究园林建造。道光二十年（1840），唐岳中道光庚子科解元，道光二十六年（1846）至二十七年（1847），他游览了广州的园林及上海豫园、苏杭园林等。此外，唐岳还经常到桂林查考岭西的著名庄园：清嘉庆朝工部侍郎李宗瀚于嘉庆二十一年（1816）建于桂林榕湖边上的柘园和湖西园（今桂林市榕湖饭店），以及修建于清道光甲申年（1824）的环碧园（今桂林市木龙湖）。应该说，在雁山园动工之前，唐岳已经对园林建造颇有心得。
从雁山永安村（今雁山下村）购买了方竹山后，唐岳在方竹山北坡山腹，依山临水建造了自住楼——澄砚阁，在澄砚阁前的青罗溪对面建造了私人藏书楼——涵通楼，并以短垣山墙围之，依势成园，规模较小。清同治八年（1869），唐岳再次开工，建造雁山园，历时四年，园成。唐岳将园定名为“雁山别墅”。不仅如此，唐岳又于清同治九年（1870）在大岗埠重建祖宅——唐氏庄园，历时两年。雁山园和唐氏庄园几乎同时完工。唐岳请广东番禺（广州）举人、著名散文家、书法家陈澧题写雁山园大门匾——雁山别墅，又请古文学家、岭西五大家之王拯为祖宅题写大门匾——唐氏庄园。
无心仕途的唐岳寄情于山水，建造园林，修建楼台阁榭，精心布局，至清同治八年（1869），在雁山园内修建了众多精美的建筑群。园中既有精工细雕的船舫水榭，以精美的长廊相连，又有“小桥流水人家”的稻香村；既有庄严浑厚的“涵通书院”，又有小巧玲珑的“琳琅仙馆”。唐岳还在园中各建筑群落连接转换处，移步换景，遍种奇树异草，将“园”和“林”自然地融合成一体，展示了其独有的魅力。
唐岳时期的雁山园是该园的鼎盛期，整个园林依山傍水、筑亭建阁，其占地规模和建筑规模，在当时的史料记载中是桂林之最，也是广西之最。有记载说“岳既建别墅，冠盖云集，宴会演戏无虚日”，“声势煊赫，雄视一方”。这一时期的雁山园，戴上了“私家园林”的光环，焕发出世外桃源般的梦幻浪漫色彩。
唐岳