到耶鲁后元任的精神一天一天的好起来了，因为这面的人事和讨论的兴趣使得他有意思。
语言学在美国那时耶鲁是中心，几位专家都说这儿，每月又有一个大聚会演讲和聚餐。对于小孩们的教育也上了轨道了，大二两女已入中学，老三也赶上她的班次四年级，老四二年级。学校中都说照资格应跳班，但为年龄的关系只得委屈她们。最可笑的是大女在中学必修的美国历史一课，她不肯学，校长问她何故？她说美国历史太短了，没趣味。以后她的校长告诉我们大家大笑，不过她还是只得学那课，因为是必修的，可是在各课分数中那是她最坏的一门，只刚刚及格而已。纽黑文学术的环境虽然样样好，可是外面的市面没有多少好玩的地方，所以我们每星期不是到四郊去玩，就是到纽约去过星期六或星期日。那时旅馆真便宜，我们总住五七街，就是当日的华美协进社对面一家Great Northern旅馆，两间住房，一个浴室，只十元一天，开车又不花什么汽油，隔壁又是自助餐食，所以学校没特别聚会时，我们总是到纽约去玩。学校方面主任Franklin Edgerton每月总有一次在他家大园子里酒会，E．H．Sturevvant家也常请客。一年后Leonard Bloomheld也来了，在语言方面真是精华荟萃一道了。主任提议留元任常久待下来，至少也须十年，叫金守拙办洛氏基金请款事。那时元任想中日还在战争中，政府在重庆，研究所搬来搬去的无定，虽暂在昆明而方桂又到燕大去了，地小人多，是非更多，不如暂在外留些时，就答应他们办理此事，可是希望给丁声树弄出来，所以他们请款是一正一副教授名目。洛氏基金果然答应了。那时哈佛的远东语言系主任兼哈佛燕京学社的主任叶理绥(Serge Elisseeff)，到耶鲁来了两次要元任到哈佛去(他是白俄人)，还有别的哈佛人也要元任去，说你本来是哈佛的人，为什么在耶鲁？元任觉得那时在耶鲁真有意思，人事又好，就谢绝他们的好意，而且他们要元任去不但教书并且还要主办编字典的工作。元任想那个时间太长太规定了，所以就和他们定了常常去做顾问，并荐了金守拙(George A．Kennedy)也去帮忙，每月去一两次。还有美国那时各处发起对中国赈灾事，纽约总会派我做纽英伦一带的主任办理。我想我是中国人，不便主持这个事，最好找美国出名一点的太太们来做主任，我尽力帮忙好了。那时我认得的人又不多，元任本系里的几位太太们都是不能做事的，我就请了法学院主任的太太Mrs．Francis W．Coker做名誉的主办人，大家组织一个委员会办理筹款的方法。不过想来想去还是卖中国饭最受欢迎而又最容易赚钱。我们就借了一个大礼拜堂的地下室作饭厅，而他们大锅等等都有。但是谁做饭呢？自然我胆大担任下来，找了三个太太帮忙，打算卖五百份饭。一小碗汤，一菜，一肉炒菜，一饭，卖一元五毛，本钱只花二毛五分，就没有别的开销了。幸亏那时东西便宜，猪肉扒只七分一磅。那时纽黑文还没有中国饭馆呢。我们又到纽约去问些古董店和杂货店捐了些各种各样的东西摆一个桌子来卖东西。第一天卖了四百七十个人的饭，菜都不发生问题，可是到临时饭发生问题了。这位太太当然在家里没有煮过这一大些人的饭。她给饭都煮焦了，美国人又最恨焦饭的。我急的不得了，只得叫元任开车回家，给家中所有大小的锅拿出来用四个火煮了八锅饭，拿去对付用。叫他们不要用碗装饭，只放在碟子里，结果有人要两碟菜和饭，我们就要他们出两份钱，所以第一天的收入是七百八十份的入款，东西杂货只卖了几十元。大家还要求再来一天，第二天也卖了三百多份，一共凑了一千六百元给赈灾总所，可是给大家帮忙的焦头烂额的了。没想到这当中大得罪了两个人，一个是Mrs．Winslow，她觉得没有找她这个向来出名的人。做主办的，叫人对我说李太太在纽黑文总是找她的，我只得叫金守拙太太开车到她家，对她解说一下。那知一祸变成两祸，她问我金太太的先生是不是元任的助教，金太太不大高其兴，回去就对金守拙说，从此金就觉得元任太占他的面子了，常和元任提我们是平等的，因此总想挤掉元任，并且副教授的款提请到了也没提请丁声树来。主任觉得对洛氏基金请款都是他一手办的，就一切听他做。没知道他从中作崇，偷偷对哈佛主任说请元任到哈佛去，哈佛自然欢迎了。我们看那种行为不愿待下去。并且大女中学毕业后正进Connecticut大学，并不是一个好大学，若到哈佛她的成绩可以入Radcliffe了，所以在开语言学会后年底，我们就定了离耶鲁到哈佛。对主任说，但是他不大高兴，说这面样样弄好了，为何要走？难道耶鲁不及哈佛吗？元任做人向来不喜欢戳穿人家的阴谋。他是觉得大家有不合式的地方不如一走了之。只得对主任说，一因大女须改好大学，二因我总是不能待长的，战一停就须回国，对中央研究院乃是告假出来的(以后在哈佛不肯正式接受教授名目也是因此)。但是主任含怒而答应了。在这半年中他们又给元任教夏季语言课。Bloomheld又再三劝元任不要离耶鲁好，元任总是笑笑不答。有一次在月会上Mrs．Sturtevant又对我说你们觉得耶鲁不及哈佛吗？(金守拙恐怕我们说出来，这一阵特别对我们好，表示不是他做鬼。)我实在气不过和元任大吵，我说，你处处原谅人家，大家还觉得你这个人不知好歹呢。我一定说出来，我的英文虽不好可以有法子说的人家懂。有一天我约了Mrs.Sturtevant跟George L．Trrager夫妇，我给情形详详细细的都说出来。并且我说元任是喜欢耶鲁的，实在理由，一不愿在系内大家不和不好受，二战事一停我们是须回国，再有耶鲁无女校，再过一年两女都须入大学，住家内我们的经济才能对付两个大学生(现在做教授的连一个大学生都难负责任了)。我们虽然暂离开耶鲁，可是对此地系中人情学问上总是永远忘不了的(以后Edgerton的第二个太太一直到现在每年还通信的)。所以以后每月的语言月会，我们虽在波士顿总开车到会的。那儿也真是语言的中心，Betnard Bloch，Lsidor Dyen他们也都到了耶鲁了，庆祝元任的论文集也还是耶鲁领头出的。
主任Edgerton虽然大怒金守拙，给大家劝劝也只好听金去弄各种名目的事，他从不闻不问，可是不升金的正教授多年。以后还是元任劝解通过升他才了事。不过金拿洛氏基金会款办了耶鲁的中文中心，倒用了不少中国人，可是都在做手下，象元任和方桂这种人才，他自然容不了的。为我们的事给李方桂的事也太鲜明了，主任方知一切都是金的鬼了。可是金以后还说中国人可交朋友，不恨他反帮他，所以一直到以后在日本他死的前头，送我们到车站还说中国人值得做朋友。
我们在耶鲁虽然只得短短的两年，元任是很舍不得离开的，因为得了一大些领略他学问上的朋友。小孩们受的教育也很满意。如兰高中毕业得第一名，并入了Connecticut大学一年。新那高中也毕业了也名列前茅，来思小中亦进步很快。离前校长并交代她们须跳班以免屈了人才，不过以年龄为定，很难跳班的。我们在纽黑文两年内最可笑的一样事就是元任开车老得罚票，连送条子的警察都说我不好意思了老送条子给你们。有一次大家到教职员俱乐部吃饭出来，车子的前窗上又有一个条子，元任说我这次一点没有犯规，为何又给我们罚票呢？Edgerton哈哈大笑，说赵你抬头看看你给车子停在何处？那知就停在“此处不能停车”的牌子下，自然更要罚钱了。到临走时送钱到警察局去，我对他们说我们离开纽黑文了，以后你们收入要少了，警察问我为什么要离开，你知道耶鲁是出名的大学，有的比哈佛还好呢。我回因他为你们给车子的罚票太多了，所以我们要离开此地，他们大笑说下次犯规我们不给罚票就是了。我们离开前给李家的车子换了一个新车，李家卖给我们时是四百元，我们兑给车行也是四百元，所以我们坐李方桂家的车子，白坐了两年。