谁知到金华不久，大约是将近春节的时候，听说浙江省政府要搬到丽水来，若从丽水去江山再到福建的浦城，是比较容易。至于我们的家，位在金华和丽水，也是相仿。何不就在大家搬家的时候，我们也搬到丽水去住呢？这念头一转，索性一搬再搬，在一九三七年的冬天，我们老小六人，租下了丽水燧昌火柴公司的两个房间，住定了下来。
丽水是浙江的一座小县城，但城里燧昌火柴公司的房屋，相当宽敞。从杭州搬去的浙江省政府，民、财、建、教四个厅，以及各厅的附属机关都驻在这个燧昌公司里办公。本来像我们一家人是不能与省政府机关住在一起的，后来经过了财政厅长程远帆的周旋，总算允许我们也租住两间。我和老母亲以及孩子们就都住在这两间房间里。等一切安顿好，我的心才算安定了下来，马上写信去告诉郁达夫，并要他写信向程远帆道谢。
燧昌公司是刚建好的一栋新屋，五开间、五进、三层楼，住在里面的有不少是我在杭州，因郁达夫关系而认识的熟人，如省主席黄绍竑、财政厅长程远帆，还有教育厅长许绍棣。
俗话说：做人难、难做人、人难做、做难人。我和郁的争吵、出走、最后离开，凡事种种似乎均归之于我与许绍棣的相识为导火线，近几年来海外朋友寄来些资料，在此略作辩证。
根据海外的资料介绍，许绍棣是浙江临海县人，自幼父母双亡，靠伯母抚养成人。中学毕业后在上海复旦大学读书时，在方家当家庭教师，方家大人很看中他，遂将女儿方志培嫁给他。一九三六年方志培患肺病去世，留下三个女儿。许曾任浙江教育厅厅长等职，抗战胜利后当选立法委员，一九四九年去台湾，一九八〇年八十二岁在台湾病逝。
在上海的许绍棣的表妹——潘文珍女士曾对我谈到，许绍棣先生晚年信奉耶教，尤专心吟咏。他的集唐诗如：
几多人物在他乡，
枕绕泉声客梦凉；
白首思归归不得，
海天东望夕茫茫。
在他的集诗中，也不难看出他对故乡的怀念。
我和郁达夫搬到杭州后，当时杭州往来的朋友较多，许也是其中之一。这在郁达夫的日记中均有记载，但仅此而已。至于外边流传什么“丽水同居”之事，纯属谣言。至今还健在的胡健中先生在《郁达夫与王映霞的悲剧》（见本文“代序”）文中曾坦率地说：“以绍棣为人之方正清廉，许、王两家儿女亲属同居者之多，及他们每次相见都有别的朋友在场，在十目所视之下，我确信他们的关系仅止于爱慕和别后的通信。”
近来还有人却将两封不是我写的信，随手取过来，栽在我的头上。一些好事之徒，以别人的信为证明“丽水同居”之事。她的手迹和内容本身很清楚，用不着多说。无怪有的朋友一眼看出不是我的信，劝我不必理它。我为真正的朋友高兴，也为不明真相的朋友惋惜，更为好事起哄的人可叹！我现在已是八十出头的白发苍苍老人了，我真猜不透那些无事生非的人，为何要将两封别人的信栽在我的身上？
我现在安度晚年，六十年来所遭受的非议和不快的事，经历不少，我都泰然处之。身外之言（何况谎言），于我无涉！