退思园住宅分内外两部分。外宅三进——轿厅(门厅)、茶厅、正厅，沿轴线布置，等级分明。外宅主要用于会客、婚嫁盛事、祭祖典礼。内宅建有南北两幢五楼五底的跑马楼，名曰“畹香楼”，楼间由双重廊贯通。廊下设梯，既遮风雨，又主仆分开。内、外宅可分可合，布局紧凑。
中庭为住宅的结尾，也是住宅向花园的过渡。庭院以“坐春望月楼”为主体，楼的东部延伸至花园部分，设一不规则的五角形楼阁，名为“揽胜阁”。楼前置一旱船，船头向东，直向“云烟锁钥”月洞门，宛如待航之舟，将游人引向东部花园。庭前植香樟、玉兰，苍劲古朴。小院所用笔墨不多，却引人入胜，衔接自然，为花园起到绝好的铺垫作用。退思园的花园以水为中心，建筑、假山沿水边布置，建筑多贴水而筑，突出了水面的汪洋之势，故有“贴水园”的美称。退思园水面处理独到之处就是水与建筑的紧密、贴进，整个园子象浮在水上，与其他园林相比，平添一分动感。“退思草堂”是花园的主景建筑，草堂朴素淡雅，不求华丽，无论是门窗装饰，还是家具陈设，处处体现了这一思想，这在园林建筑中是少见的。退思草堂坐北朝甫，隔池与苑雨生凉、天桥、辛台和闹红一舸相对。与草堂相连的是环水池而筑的“九曲回廊”。此廊蜿蜒曲折，高低起伏，而墙上的漏花窗刻“清风明月不须一钱买”诗句，借以寄托对大自然的感激之情。这种将诗句制作于漏花窗上的做法，在苏州园林中仅此一例。
“闹红一舸”为一船舫形建筑，船头采用悬山形式，屋顶榜口稍低；船身由湖石托起，外舱地坪紧贴水酉。水穿石隙，潺流不绝，仿佛航行于江海之中；船头红鱼游动，点明“闹红”之趣。退思国有两处船舫建筑，一个在池中，另一个在旱院中庭。我国古代江南水乡，船是主要的交通工具，园林的石舫、旱船自然是寄情于水、寄情于船的象征，这是一种江南地区汉族水乡文化的特征。
“菰雨生凉”是一处临水小轩，位于水池东南。轩面水开四扇长窗，轩内隔屏正中置大镜一面，镜前设一小榻，夏日卧于榻上，背后的镜里反映出池中一片莲荷，仿佛置身于荷花丛中。以镜面扩大园林空间是苏州园林中常见的手法，而此处运用之巧妙，真可谓独具匠心。
退思园的水面较开阔，而园内建筑体量均较小巧，处理不好则有散、乱之感。要解决这个问题，建筑的单体组合、临水立面的变化以及建筑与水的进退关系，都必须处理好。退思园水池甫岸就成功地解决了这个问题。甫岸的“辛台”是一幢二层小楼，与“菰雨生凉”相隔一段距离，无论从空间比例上，还是立面变化上看，均略显不足，但通过“天桥”将两者连接后，即变成一组活泼的建筑群。“天桥”为二层楼廊，与园西北部的“揽胜阁”遥相呼应，两处均为欣赏退思园全景的最佳处。
退思园全园布局紧凑，一气呵成，有序幕，有高潮。跌宕起伏，象一曲人与自然完美结合的乐章。