郁达夫出生（1896年）时，这个家庭的主要经济来源：第一是父亲郁企曾的薪俸（即工资）兼行医的收入；第二是祖遗的一部半“庄书”收入。“庄书”本来是一种民间管理田赋的制度，晚清时代曾在江南普遍实行。每个县按行政区域分成若干个庄（与今日的乡相似），庄内的田、地、山、塘、宅等的所有权登记册籍由民间专户保管。这种册籍就称为“庄书”，保管的专户就称为“庄书人家”。庄书人家除保管册籍外，还经管所有权买卖过户，向政府申报各户税赋及其变更等事项。办理这些事项，都可以向当事人收取手续费。买卖田地较多的大户、中户，出入庄书人家，经常就餐留宿，有的还横榻吸烟——当日风行一时的鸦片。庄书人家每年秋收之后就要向各大户、中户收取所谓“秋丰谷”若干斗、担，按户不等，形成惯例。因此，“庄书”不仅具有一定的行政特权，还是一种颇有收入的财产形式，并且可以买卖转让。各庄有贫富之别，庄书的价格也大有高低。甚至可以把一个庄的“庄书”一分为二，分成两个不完全相等的半部庄书来买卖转让。这种制度的积弊陋规，真不是三言两语所能尽述的。连清朝和民国以后的政府也都明知而束手无策，听任泛滥。庄书人家的特点是人来客往多，而愈是来往客人多，开支当然增大，出息却愈好。郁家这一部半“庄书”，虽属于一般的中等庄，但据说每年收来的“秋丰谷”也可以供全家的半年口粮。第三是祖遗的十余亩田产，自家种了六亩左右以补口粮，农忙时请些短工帮助；还有一半左右，因十分贫瘠而出租，收入不多。在当时富阳这个小县城里，“大多数的百姓”，“既无恒产，又无恒业”，这个家庭，虽比地主大户不足，但比下有余，可以称得上“中产之家”。庄书人家，可以进出衙门户房，何况，据说郁家上代还做过皇帝的医官，当然也不妨自称为“乡绅”。
郁达夫三岁丧父，家庭起了很大变化。年老的祖母（郁圣山妻）尚健在。二位哥哥：长兄郁华（字曼陀）比他大十二岁；二兄郁浩（字养吾）比他大五岁。姐姐郁凤珍比他大二岁。加上母亲和养女翠花，老幼七口，两代寡妇，一时失去了唯一的依靠力量。家庭的三项经济来源，第一项主要收入没有了；第二项，庄书缺了经管办事人，只好长年礼聘一位姓俞的老先生来代办文牍，收入减少了一大半。第三项本是靠天收入，又遭到了孤儿寡妇家所特别易遭受的盗卖、侵占等欺凌。不到三年，就只剩下住屋三间，薄田六亩和纯收入锐减的一部半“庄书”了。一家全靠贤能的母亲艰辛维持，既要张罗庄书人家的人来客往和种田事物，秋后又要抛头露面亲自下乡去收取“秋丰谷”。长兄、二兄已开始上学读书，家庭开支增加了。白天她还要设法去住宅的小弄口做些针线活，赚点计件加工工钿。但尽管她劳累终日，还是入不敷出，家庭经济迅速下降，以至于到了使年幼的郁达夫的“最初的感觉，便是饥饿”的程度。他自出生，本来就由于母乳不足，杂食不禁而常挨饿。又由于他是幼年丧父的末子，母亲就压根儿没让他断奶，更增加了饥饿的时光。据他幼年时的同学说，他一直到七岁上学，每天早晨，小同学上门去约他同行的时候，他还要让同学们等一等，到母亲身边吸几口奶才肯去私塾，后来实在被同学们耻笑不过才自动断了奶。这已是父亲死后的岁月，忙碌的母亲哪能照顾到他，三餐茶饭既不按时又常不足，连一年一度的除夕年夜饭，母亲忙于到各家各店去偿还赊欠或说情延期，往往要到夜半以后才能回家度岁，他只能饿着等待，等得发慌，累得想睡而睡不着。邻家的孩子已吃完年夜饭跑来找他，他伏在桌上只是抱怨还是不要过年的好！这些情景当然是深刻地留在他幼小纯洁的心灵上了，因此，他说他自从开始有感觉的第一个经验便是“饥饿的恐怖”。
由于生活困难，他唯一的姐姐郁凤珍，在父亲死后的第二年就只能送给了乡下的叶家去做童养媳。但他的母亲在如此贫困的境况下却始终坚持要三个儿子上学读书。不仅是一般的上学，而且都要上高等学府，其中长幼两子还上日本留学。不能不说，这位难得而有识见的母亲是有多么坚毅的韧志和非凡的艰辛啊！当长子郁华考取了赴日留学的官费生，次、幼子继续在杭州和当地上学的时候，他甚至把三间住房、六亩薄田和一部半庄书，也就是全部家业都抵押出去而借债度日。不少好心的亲戚着实为她捏把汗，劝她来日方长，犯不着如此冒险，连老祖母也喋喋不休地反对长孙出洋留学。但她都断然拒绝，并说：“我家无财产可守，不让他们外出读书立业，都蹲在富阳街上‘数石板’（当地讽刺话，意思是浪荡无聊），怎么对得起祖宗！”这大概就是所谓的“书香世家”的传统吧。有人说，这也是郁企曾死时留下 的遗愿。而据郁达夫一九一七年在日本第八高等学校上学时所写的《丁巳日记》二月二十五日的记载：“予生三岁即丧父，虽幼时尝见先考图形，然终不能想象其为人。‘汝父正直，故有汝辈。他年汝辈之子、若孙，亦当以是告之。’此祖母之言也。‘汝父正直、谨饬而自晦，使汝父若在者，汝辈当不至有今日。’此生母陆氏之言也。予脑中之先考行状，如此而已矣！”其中所谓“不至有今日”，十分微妙地说明了：在这位也是“书香门第”出身的陆氏母亲眼里，与“谨饬而自晦”的父亲比起来，对接受和贯彻“书香世家”的传统，还是她还显得更坚决、更有魄力呢！