黄家的发迹并非没有内部和外部的危险。一天，湖口驻军的首领突然造访东林，不过只是社交性的拜访。然而第二天，这位首领派士兵到黄村，以抓土匪为名对几户人家进行了搜查。士兵们带走了村里的四位老人，他们都住在东林旧居附近。这位首领狡猾地展示了一种假象，即东林告密说村里的这些人家有土匪。这使得除了最近的族人之外，黄村人开始怀疑东林这位村中最有势力的人正在出卖自己的村民。驻军首领就这样轻而易举地挑起了村里两个主要家族之间的矛盾。
其中一方是东林的远亲，他们的老人被军队带走了，所以他们立即招呼身强力壮的人，几人结成一队，带着长刀攻击东林的旧居，并威胁住在那里的人说这事没完。但是他们没敢袭击金翼之家，因为那里有两个防御性的角楼。他们的敌意越来越明显，为了自卫，东林的近亲也开始采取保护措施。
事实上是军队首领使了一个诡计。他因为店员李宽的事情对东林怀恨在心，因此设法以公务之名搜查了村子，既报了私仇，又能同时嫁祸于东林，因为他十分清楚被抓的四人中的确有一个人的儿子是土匪。这位首领还别有用心，即他指望通过抓四个人，即使不能得到全部的赎金，也至少能捞到一些贿赂。
首领的阴谋一经实施，其影响是一连串的。那个在土匪营里的儿子乞求他的上级为他报仇，他也怪罪他的远房叔叔东林。之后的一天晚上，趁着一扇边门未关，土匪们闯入金翼之家，抓了两个人，并劫走了枪支和其他能找到的贵重东西。他们非常匆忙，劫掠了几分钟之后就离开了村子，因为军队就驻扎在两英里之外，他们害怕被士兵发现。
但是，那两个被土匪抓走的人并非黄家的真正成员，因此这次抓捕一无所获。一个俘虏马上被放了，因为他说邻近地区的方言，并发誓自己只是一个做工的。另一个的确是本地人，但他只是一个放牛娃，甚至比那个做工的还穷。土匪没有放掉他，但是几天之后他从他们的监狱中逃走了，土匪们倒也乐意看到他逃掉。
就是在被打家劫舍之后，东林还是渴望与村民和睦相处。他努力让他们相信自己，他甚至对几位老人发誓说，他已经准备好在祖先牌位前接受神判来证明自己是清白的。慢慢地，剩下的老人们信了，他们又聚在东林身边商议营救村民。最终，全族的人募集了一笔钱，行了贿，老人们被释放了。
那个年代，土匪和军队的差异实在不大。军队实际上是从土匪之中招募的，二者的区别仅在于后者明显不合法，而前者则是暗中搜刮人民。除此之外，人们只能根据这样的事实区分他们，即士兵们穿制服且生活在城镇，而土匪衣衫褴褛且藏身深山。
村里的麻烦并未了结。在尝到了军队腐败和土匪的滋味之后，村庄又经受了一场灾难。水牛瘟疫来袭，这在该地区的历史上还是第一次。最初的征兆是牧童发现一头母牛的脖子上长了一个瘤子。瘤子越长越大，病牛虚弱得无法动弹，过了几天就死在牛棚里了。这一发现吓坏了本地所有养牛的人，他们试图将自己的水牛赶到尽可能远的地方以躲避瘟疫，但是病症还是在牲畜身上不断被发现。最后，东林家的15头水牛只剩了一头。村里的其他三群牛也被感染了，几乎无一存活。
由于瘟疫的传播，病牛同仍然健康的牛要隔离开。当时，小哥正放暑假在家。这一紧急情况之下，他被安排到山坡上照看两头公牛。谁知毫无防范的小哥被突如其来的暴雨浇得湿透，染上了重感冒，发烧下不了床，一天比一天严重。
不幸又传来五嫂得了重病的消息。她嫁过来还不到一年，前不久刚刚回娘家看望她母亲。五哥正帮着兄弟和堂兄弟们一头接一头地埋葬死牛，疲惫不堪，却又不能不抽身去岳母家探望妻子。但并非疾病本身而是其衍生出的事情再一次考验了黄家。
在去丈人家的路上，五哥追忆起婚前的生活，尤其是想起自己对一个名叫红花的女孩的情愫。她是东清长女的女儿，所以是五哥的外甥女。当她的母亲到黄村探望自己的双亲时，红花也跟着来了。她比五哥小三岁，当时只有16岁，但她早熟，已经出落成活泼机灵的姑娘。她很迷人，眼睛又大又亮，缠过的小脚使得她的一举一动极为优雅。村里人承认从未见过这么漂亮的女孩，很多年轻小伙子都倾心于她。
五哥就是其中一个。他每天都去东清和他的孩子们住的旧居，为的就是能有机会看到红花。但是红花还不习惯见生人，每次他们一出现，她就躲起来。但她越是躲藏，五哥就越是渴望见她。
五哥的机会来了，红花的母亲被叫回家，红花与外祖父母一起住。一天，五哥带来了一封红花哥哥写给母亲的信，因为村里没有邮局，信是经湖口店铺转来的。五哥揣着信，进了旧居。他把信交给东清，老人收下了，但是他不识字，就带着五哥到厢房，红花正独自坐在木楼梯的最下面一级纺麻线。东清让五哥打开信读给红花听，因为她也不识字。五哥喜不自禁，尽量拖长读信的时间。整个过程中，他的心狂跳不止。东清听完信的内容就满意地离开了，留下两个年轻人。他们就这样开始了第一次交谈，谈话很规矩，就是舅舅和外甥女这种亲戚间的谈话。
接下来的日子，五哥更频繁地光顾旧居。红花不再躲着他了，实际上，两人相谈甚欢，乐于见到彼此。五哥英俊且穿着新潮，自然是一位非常有魅力的小伙子。在这个古老贫困的乡村里，五哥和红花看起来就像一对王子和公主。
在旧居和金翼之家中间有一座小房子，是东清的三个弟弟盖的。红花常常去那儿拜访她祖父的侄女、她的姑姑英妹，英妹也是五哥的妹妹珠妹的朋友。五哥跟着他妹妹到这个小房子，在这里也能见到红花。近一个月的时间，每天下午，英妹、珠妹和红花三个女孩，聚在小房子后面的厨房里纺线，以躲避外面的炎热。几乎每个下午，五哥也会出现，以极大的兴致与女孩们聊天。
红花和五哥就这样陷入了热恋。频繁的相会增进了他们之间的感情，却没有提供任何亲密接触的机会，因为这是传统所禁止的。但是，乡村社会没有秘密可言，即使是五哥和红花之间这些无伤大雅的相会也引起了恋爱的传闻。其他小伙子们嫉妒五哥，开始嘲笑他，说他得了“博士”。这是一个新术语，他们并不了解它的含义，用它来开玩笑，暗指五哥得到了红花这位他们小世界中的美人。
因为畏惧这种闲言碎语，五哥刻意保持距离，虽然红花依旧在老地方日复一日地等他。后来有一天，当五哥正经过小屋厨房后面的山坡时，红花看到了他并叫他：“舅舅，舅舅。”五哥站在山顶俯视着美丽的“外甥女”，她圆圆的脸蛋像月亮一样熠熠生辉，看得五哥入了迷。她纤细的身躯倚着栏杆，急切地向上看着五哥。“舅舅，你怎么不来了？”她温柔地轻声问道，一脸柔情和爱意。面对此情此景，这位“舅舅”的心几乎被融化了，只恨自己不是个诗人，无法将这一情景变成美丽的诗句。
但是关于五哥和红花恋爱的闲话还是传了开来。红花的外婆，也就是东清的太太，警告了她。黄太太逢人就询问此事，同时否认谣言，发誓自己的儿子五哥从未在金翼之家以外的地方过夜。这件事闹得沸沸扬扬，最终东林听说了。因为害怕儿子会破坏同辈内婚的传统，他决定杜绝这场恶作剧继续发展的可能。他请一位媒人商讨五哥与另一个女孩订婚的事情，这个女孩就是后来的五嫂。就这样五哥违背自己的意愿结了婚，永远失去了自己的初恋红花。在去探访病妻的路上，占据他脑海的就是这些回忆，而他身后的家里则牛瘟横行。
当五哥进入岳母家的卧室时，他的妻子只剩下一口气，不能说话了。他来只是为了操办简单的后事。在与父亲商议之后，他雇了一些人在几天后将妻子的灵柩抬回家乡，几乎没有举行任何仪式就下葬了。一个年轻儿媳妇的生命几乎同一头水牛一样廉价。
东林一直相信“祸不单行”的古训。一连串的灾难向这个家袭来。小哥被绑架，李宽被捕，四位老人被抓和土匪抢劫，给他带来一次又一次冲击。在东林看来，不同形式的不幸之间没有差别。牛瘟和五嫂的死只不过是在这一系列不幸上面又增加了两件。现在他最担心的是，他喜爱的儿子小哥依然高烧躺在床上，可能会成为下一个牺牲者。这个孩子神志不清，胡言乱语而且不停地抽搐。东林丢下店里的生意不管，坚守在儿子的病床边。
相信“运气”并不意味着让一个病人自生自灭。远近各处的医生都被请来，也用了各种不同的疗法。四哥认为小哥可能是在放牛的地方受了惊，丢了魂。因此，他跑到山上祈祷。他跪在那个地方，口中念念有词。他捡起一块圆圆的石头，叫着患病的弟弟的名字，让他的魂回来。回家的路上，他不断叫着弟弟的名字，手里紧紧攥着那块石头，因为他坚信丢失的魂就附在上面。回到家，他把这块石头放在小哥躺着的病床上。幸运的是，小哥最终恢复过来了，但因为在床上躺了两个月而非常虚弱。他的恢复似乎终结了降临在黄家的不幸。
不久，家里收到了三哥的电报，他在美国待了四年，现在要回来了。这一消息震动了乡亲，他们想象着他的荣光应该不亚于旧时科举考试后的衣锦还乡。
让乡亲们大失所望的是，三哥是独自回家的，并非像古代官员那样有随从和乐队前呼后拥。他甚至都不如当地的驻军长官，他们至少还有护卫陪同。这个留学归来的学生，的确没有带回什么东西，除了一架留声机，为夜晚聚在一起的人群带来了欢乐。在这个世界上偏僻的一隅，头一次听到美国歌曲和乐队的演奏声，有些像乌鸦叫，逗得乡亲们大笑。
三哥在家待了不久，又出现了新的争端。一次小小的口角使得小哥开始诉说三嫂素珍的不是。她的反驳使得小哥当着她丈夫和黄太太的面，把对她的所有怨恨一股脑儿倾诉出来。他心酸地回忆起和素珍以及三哥在延平时的生活，指责素珍自私，把他当成厨子、苦力和孩子的保姆。一次，他不小心打碎了一个瓶子，素珍打了他一巴掌，以至于他到现在都觉得她不公而且冷酷无情。
小哥还举了一个例子说明她的不公。有一次，素珍发现桌上放着一把湿雨伞，就开始责备小哥。但她的弟弟，当时和他们一起生活的溪湖承认这是他放的，素珍的语气立即变了，换上了一张笑脸，亲切地问他什么时候买了一把这么漂亮的雨伞。这种态度的突然转变深深地伤了小哥的心，他做梦都不曾想过自己所谓受过教育的嫂子竟会如此刻薄。听到小哥当着丈夫和婆婆的面指责自己，素珍大受刺激，哭着跑回后面自己的房间，拒绝吃饭。黄太太抚摸着刚哭诉完的小哥的头发，三哥则一言不发。
因为这次争吵，小哥去了店铺。他想见见父亲和最近变得同他亲密的五哥。得知素珍和小哥之间发生了公开冲突，五哥立即站到了小哥一边，因为他曾经同情自己和红花之间的恋爱。弟弟陪父亲继续留在店里，五哥则返回金翼之家。
小哥离开之后，家中鸡犬不宁。三哥成了麻烦的中心，汇聚了对小哥的所有不满。那些不喜欢小哥的人现在可以随意向这位留学归来的学生抱怨，因为他现在已经成了家中举足轻重的人物。抱怨小哥的有三人，素珍、伯母林氏和四哥。素珍被指责，自然有怨恨。伯母林氏控诉说她也曾被顶撞，她的二儿媳妇被骂而且她的长孙少台曾被小哥打过一巴掌。曾经对小哥很好的四哥已经彻底转变了态度，因为小哥竟敢在东林面前批评四嫂。
就这样，兄弟间的分歧开始形成了。虽然小哥现在已经被视为家中所有祸端的制造者，但五哥回家后依然极力为他的弟弟辩护。幸运的是，黄太太是一位息事宁人且善良的母亲，在兄弟纷争中，她不偏袒任何一方，而她的态度极大地影响了东林，东林还是第一次得知兄弟间的矛盾。东林有些溺爱幼子，将此事看得很淡，没有处罚任何人。不久，小哥离开村子去求学，事情也就被淡忘了。后来，小哥证明自己是一个好兄弟，对长辈们的疼爱也更懂得感激。
随着年纪的增长，东林在家中的权威变成了另一种形式。以前他对儿子们非常严格和严厉，但现在变得更温和，再也不会用打骂或者其他方式惩罚他们。他的经历使他养成了自持和圆滑的个性。小哥被绑架和随之而来的一系列不幸极大地打击了东林和他的家庭。虽然麻烦的根源一个一个被排除，但是东林确实已经筋疲力尽了。他现在越来越将希望寄托在儿子们身上，他尤其喜爱小哥，他还处在可以在父母面前调皮的年纪。
然而，东林从未能完全建立起在两个侄子大哥和二哥面前的权威。他无法解决两人之间持续多年的财产分配问题。现在，三哥回家了，他是一个学者，也是在家庭事务中说话有分量的人，二哥抓住了机会获取他的权威的支持，请求三哥为自己和大哥之间悬而未决的钱财和店铺股份问题做仲裁。但大哥不愿面对这个问题，这再次引发了激烈争吵，两兄弟变得水火不容。
大哥和二哥之间的公开争执造成了他们的妻子和孩子之间无休止的敌对。兄弟俩从此再也不和对方说话，伯母林氏曾有过一段两难的日子，在儿子和儿媳妇之间周旋调解。但兄弟分家之后，她本人也完全被争取到了大哥那一边。
一次，二哥地里需要一些粪肥。他从大哥的桶里掏了一些，但这一举动被少台的妹妹发现了。小女孩已经被她的母亲训练出来会盯梢这种事情，她跑回家告诉了她母亲大嫂，大嫂叫来了少台对抗二哥。当少台来到事发地的时候，他可怜的叔叔还在掏。侄子立即大喊一声“贼”，并冲过去粗暴地将他叔叔推到一边，二哥因而直挺挺地倒在了地上，摔伤了一只手。后来，二哥把受伤的手给叔叔东林看，东林告诉了大哥，但少台没有受到惩罚。
少台的不孝行为在金翼之家引起了许多批评，但如果大哥无意惩罚他的儿子，那么其他人也不能越俎代庖。二嫂尤其不满，她去见店里的掌柜凯团，让他出主意。因为她清楚凯团和大哥在店里是对头，会有所偏向。凯团私下告诉她，可以打大嫂作为报复，因为大嫂比她更瘦弱多病。但她不知道这种行为是否合适，然而凯团坚持这样，他信誓旦旦地说打嫂子不及打叔叔那么恶劣。
二嫂回到家，暗自想着复仇的计划。不久，机会就来了。一天，她发现自己的女儿和少台的妹妹在木楼梯上打架，这时大嫂从楼上下来，打了自己的女儿一耳光。二嫂冲上去抓住大嫂用拳头打她。妯娌两个原本就相互痛恨，因此拼了全力打对方。两人一直扭打着，直到年纪更大更瘦弱的大嫂被推搡滚下了楼梯。二嫂暗自满足，也报了仇。大嫂则因羞辱和疼痛抹眼泪。妯娌两个同她们的丈夫一样，原本就水火不容，现在敌对更加严重。
东林听说了大嫂和二嫂打架的事情，但如果他无法阻止两个侄子大哥和二哥之间的冲突，那么这件事情当然他也无力干涉。他长期不在金翼之家，也是兄弟纷争的部分原因。而他脾气秉性的变化，比如年老后的温和，也是原因之一。所以家里成了上演愤恨、抱怨和咒骂的场所。虽然家内的混乱外人很难看到，但在两次分家之后，这个家庭本身的裂痕不久就众人皆知了。
即使大哥那从主干家庭中分出来的小家庭，也满是矛盾和混乱。当然，这里的矛盾和大家庭是有关系的。问题缘于少台的妻子齐妹。这位新过门的儿媳妇，是大哥好友天蓝的独女。因为在自己家被宠坏了，齐妹发现婚后很难改变自己的脾气和习惯。她的婆婆，也就是大嫂试图施加自己的权威，却招来了齐妹的不服和反抗。然而大哥却对这个年轻的儿媳妇疼爱有加，因此少台的母亲不断怂恿儿子打他的太太，而大哥也因为维护儿媳妇而被自己的太太数落。
清妈在这种情况下出现了，她的介入引发了一场危机。清妈是大嫂的嫂子，是来金翼之家做客的。因为上了年纪，人人都敬重她。一天，她听到少台和他太太在房间吵架，就冲进去劝解。一进门，她就看到齐妹正挥舞着一把刀追打丈夫。清妈大为惊恐，叫了一声“少台”并把他推出了房间，然后自己站在门槛上，伸开双臂拦着齐妹不让她追出去。因为被拦着无法抓住丈夫，齐妹被激怒了。她猛然举起刀，砍在了清妈的右手腕上。清妈受了伤，倒在地上，血流不止。事情立刻变得异常严重，家里所有的女人和孩子都围过来，被清妈面色苍白奄奄一息的情景吓坏了。因为事情是在自己家里发生的，大嫂不得不通知她的娘家人。第二天，清妈的儿子，即大嫂的一个侄子，带着两个陌生人来到了金翼之家。齐妹从房间里往外窥探，发现她婆婆正在堂屋里款待三个生人，大家还窃窃私语。得知陌生人是来处理自己的事情时，齐妹悄悄地溜了出去，边走边发出咯咯的声音，装作找小鸡来到了边门。出了门，她拼命往外祖父玉泉家跑去，玉泉现在是黄氏宗族的族长，也是东林的远房叔父。当陌生人和大嫂意识到齐妹已经从家里逃出时，为时已晚。
陌生人同大嫂商量此事。他们想将此事告到地方衙门，指控少台和齐妹这对年轻夫妇的不孝行为，让地方官员惩罚他们。在进一步商议时，清妈的儿子还去征询了四哥和东林的意见，因为一旦开始打官司，东林和四哥需要出庭作证。
四哥的意见让清妈的儿子有些灰心。四哥虽然一直对大哥怀有敌意，但是他看到了打官司的危险，建议清妈的儿子不要白白浪费两家的钱。清妈的儿子并没有被说服，他还是去了湖口，这次是去征求东林的意见。东林比四哥更反对打官司，他强烈指出诉讼的不明智。而且，他还告诉清妈的儿子关于大嫂和其他家庭成员之间的日常矛盾，尤其提到了她指使自己的儿子殴打二哥的事情。他总结说像大嫂这样唆使自己的儿子对叔叔做出不孝之举的妇人，并不比像齐妹这样忤逆自己婆婆的人好多少。面对这些反对意见，清妈的儿子觉得没有打赢官司的可能，因为所有可能的证人都不赞成。结果，他不情愿地放弃了起诉的想法。
四哥和东林反对起诉，间接帮助大哥和少台逃过了他们引起的麻烦。之前藏在外祖父家的齐妹，经过商谈和作了保证之后，才又被叫回家来。虽然大嫂命令少台将齐妹绑起来鞭打了一顿，但大嫂和她的娘家人还是丢了面子。他们考虑欠周的计划，会给家里带来危险，甚至可能导致家庭的最终毁灭。现在被压制下去了，而关于他们决断力的名声也随之失去了。金翼之家被再一次从不断的危机中解救出来，外人依然没有看到公开的争端。
然而，现在家中的情形与往日黄家人事业初创期的处境已经截然不同。当时，在穷困的鞭策下，家庭成员相互协作，使家庭成为一个高效的生产单位，大家在其中各司其职，没有争端。但此后，因为分家，形成了三家并存、毗邻而居的状况，矛盾激怒了各群体内部的个体，也使不同群体的个体之间相互对立。现在，所有人都已经摆脱了贫困，无需再为基本的生计而挣扎，但是也因而有了时间和精力争吵打架。
就这些内部矛盾而言，作为一家之长的东林持续缺席或许是其中的重要原因，但每个小家庭各起炉灶，开始相对独立的经济生活，则最大程度地造成了区隔。现在，各个小家自己的关系网的影响也开始显现，矛盾冲突很少再仅限于小家的内部生活或者整个大家庭。当二嫂找店里的账房凯团出主意，当清妈和她儿子介入，这种各自的外部纽带已经显而易见。这意味着金翼之家仅存的共同阵线日益出现了裂缝。
然而年迈体弱的东林，依然代表着家里的权威。他的控制，现在或许已经减弱，但依然存在。在齐妹的事情上，正是他一锤定音。若没有他，诉讼可能已经被提起，外界就会掌控这个家。只要他尚在人世，黄家就永远不可能完全分崩离析。