自从一九三一年和一九三二年这两年以来，我心理上幻灭得厉害。似乎人未老而精神已衰，对于各项事物，都提不起兴趣。有时想到树高千丈，叶落归根，就很盼望有一个开支可以节省的安定的去处。郁达夫他亦与我有同样的想法。后来他在《住所的话》里，有过这样的理想：
自以为青山到处可埋骨的飘泊惯的流浪人，一到了中年，也颇以没有一个归宿为可虑。近来常常有求田问舍之心，在看书倦了之后，或夜半醒来，第二次再睡不着的枕上。
尤其是春雨萧条的暮春，或风吹秋木的秋晚，看看天空，每会作赏雨茅屋及江南黄叶村舍的梦想；游子想乡，飞鸿倦旅……
我和郁达夫，都认为唯一符合我们生活上、经济上、愿望上的去处，是坐四小时火车即能到达的杭州，在从来不关心政治的我的心怀里，认为杭州是我出生、入学、长大的家乡，有我母亲故旧、同学朋友，想象中的最好去处，可以作为我的终老之乡。
当时孙百刚先生曾问我为什么要举家从上海搬到杭州去？我只说：孩子长大了，要上学，而杭州的小学比上海好，一切生活都是杭州方便，所以准备搬到杭州去。但孙先生猜想我们去杭州的原因不光是这些，认为“经济的因素，也占着主要的成分。因为在嘉禾里这几年中，历年达夫稿费收入，除家用开支外，经映霞的运用，相当积储了一笔数目。但在民国十九年（一九三〇）以后，达夫小说的销路不及从前，生活费用逐年加高，收入反而减少，当一家主妇的映霞，当然觉得有变更计划的必要。其时杭州的生活程度，低于上海，这也许促成他们离沪赴杭的一种动机吧”。
孙先生的猜想一点也不错。那时杭州的生活费用只需上海的一半，北新书局若能守信用，将每月两百元的版税按时寄来，那么我们日常生活就不成问题了。而且在杭州，有我的母亲、我的母校、我的同学可以去走动。当时我们商量决定后，马上写信去托了在杭州的友人徐葆炎。没有多久，他就为我们介绍了杭州大学路场官弄内的一所旧式房子，门牌是六十三号，在一个庵堂的隔壁。我立刻写信去，托他租定了下来。
我们搬家的那天情形，郁达夫在《移家琐记》中写道：“‘一九三三年四月廿五（阴历四月初一），星期二，晨’五点起床，窗外下着蒙蒙的时雨，料理行装等件，赶赴北站，衣帽尽湿。携女人儿子及一仆妇登车，在不断的雨丝中，向西进发。野景正妍，除白桃花、菜花、棋盘花外，田野里只一片嫩绿，浅淡尚带鹅黄，此番因自上海移居杭州，故行李较多……午后一点到杭州城站，雨势正盛……新居在浙江图书馆侧面的一堆土山旁边，虽只东倒西斜的三间旧屋，但比起上海的一楼一底的弄堂洋房来，究竟宽敞得多了……”
就在移居杭州的第二个月，我生下了第四个孩子耀春，又名亮。已经有了三个儿子了。对于现实的生活环境，虽然清苦一些，但我相当满意。家的命运，孩子的命运，我不懂什么意思？与郁结婚后发生过几件上边提到的事，引起我幻灭的悲哀，都因此渐渐地黯淡下去。
初到杭州时，我只觉得换了一个新鲜环境，心境开朗，还没有体味出杭州的特殊境遇。两三个月以后，警察局派来了几个人，说是来检查书籍的。这个时候，我才暗中感受到自己一贯疏忽政治的可怕。继之而来的，便是各式人等的接二连三的来访，有的自称是“学生”，又有的说是“同学”，还有的竟在当地的报刊上登出了访问特写。这就很自然地给我们招来了不少慕名和好奇的来访者，增添了麻烦和嘈杂。从此，我们这个自以为还算安静的居处，不安又不静起来。比如，今天到了一个京剧名角，捧场有我们的份；明日为某人接风或饯行，也有给我们的请帖；什么人的儿女满月，父母双寿，乃至小姨结婚等等，非要来接去喝酒不可。累得我们竟无半日闲暇，更打破了多年来我们家庭中的书香气氛。我这个寒士之妻，为了应酬，也不得不旗袍革履，和先生太太们来往了起来，由疏而亲，由亲而密了。所谓“座上客常满，杯中酒不空”，正是我们那一时期热闹的场面。同时因为有东道主的招待，我也就饱尝了游山玩水的滋味，游历了不少名胜。