赵烈文著能静居日记同治六年九月初十日的日记载：”师自言亲族贫窘者甚多，虽始终未一钱寄妻子，顾身膺朊仕，心中不免缺陷。复得九舍弟乎笔宽博，将我分内应做之事一概做完，渠得贪名而我偿素愿，皆意想所不到。””师曰：吾乡中无大木，有必坟树，或屋舍旁多年之物，人藉以为荫，多不愿卖。舍弟已必给重价为之，使令者则从而武断之。树皆松木，油多易蠹，非屋材，人间值一缗者，往往至二十缗，复载怨而归。其从湘潭购杉木，逆流三百余里，又有旱道须牵拽，厥价亦不啻数倍。买田价比寻常有增无减，然亦致恨。”曾国荃在弹劾官文之后，日子过得很不舒心。前向与捻军打仗，新湘军败得溃不成军。官场对劾官一案一片嘲讽，都说他心胸狭窄，居功自傲，朝廷也觉得他做得过分了。曾国荃处在内外夹攻之中，遂借口伤疾复发，辞官回里了。回到荷叶塘之后，他用从安庆、江宁掠来的金银广置庄田，大兴土木，大夫第建筑得庞大复杂，耗去近十万银子，令湘乡士绅闻之咋舌。平素家居挥金如土，一切都讲究豪华、气派。他嫌湖南的信笺不好，派人带八百两银子进京，将琉璃厂的名贵信笺一扫而空，惊得那些老板们瞠目结舌。他自己也觉得有点太鹤立鸡群了，怕招致兄弟侄儿们的怨恨，于是瞒着大哥，在离黄金堂五里外的地方建起一群楼房，取名富厚堂，作为送给大哥的礼品。又建一座房子，取名有恒堂，送给国葆的嗣子。又将黄金堂予以改建，更名万年堂，安置国潢一家子。国华的妻妾住白玉堂，不想再动，于是他又送二万银子给纪寿。这样，兄弟侄儿们同声赞扬九爷的手足情深。但方圆数十里的百姓则怨声四起。因为曾府兴建如此多的高楼大厦，需要大量的合抱老树，而这些老树大都长在坟山上，主人家都不愿砍伐。曾国荃把四乡头面人物请来，要他们帮忙。这些人谁不想讨好便硬逼着老百姓砍掉从祖父辈、曾祖父辈传下来的坟山大树孝敬曾府。百姓们敢怒不敢言，私下里无不恨得要命，都巴望新建的楼房遭雷打火烧。这尚在其次，最使曾国荃头痛的是两件事。
一是原吉字营阵亡将领们的子弟，三天两日来找他诉苦。他们也有自己的苦恼。抚恤银有限，一两年就用光了。眼看着别人风风光光地回到家里，带来的财宝用船装，用车载，自家的亲人赔上一条命不算，一点分外财也没得到，他们何能不气恼，不眼红这是一层。还有一层，死去将领们原来的部下有混得不好的，也常常跑上门来大哭大闹，说是先前欠了他的饷未发，都私吞运回家，逼着要其子弟补欠饷。这些子弟们又烦恼又气愤，无处发泄，便都找上原吉字营的统帅。有些妇道人家还因此想起死去的丈夫、儿子，能在大夫第披头散发地哭上几天几夜不罢休，弄得曾国荃一家不得安宁。有些实在不能对付的旧亲旧谊，还只得拿出几十百把两银子来，才能勉强打发走。
第二件头痛的事，是原吉字营官勇在湖南、在湘乡境内的惹是生非，其中尤以哥老会闹得最凶。哥老会的成员大半部分是那些在前线掠财不多的下级军官和勇丁。仗打久了，农民的勤劳俭仆的本性丢尽了，又仗着有点本事，有几次战功，见过场面，胆子大得很，有的甚至无法无天，胡作非为，再加之结成会党，使得地方官都不敢正视，老实的百姓们更是远远躲开。这些为害乡里的湘军旧部，远胜过当年的串子会、红黑会、一股香会，令过去的抢王盗贼们望尘莫及。百姓们的怨骂，官绅们的指责，都辗转传到了原吉字营统帅的耳中，他无可奈何。而且还隐隐约约地听说罗泽南、李续宾家也有人卷入了哥老会，又说是萧孚泗当了哥老会的总头目。没有真凭实据，曾国荃不好处理他们，何况这个对朝廷满肚皮牢骚的一等威毅伯，压根儿就不想处理这些事。
一个月前，他接到大哥的信。信写得很凄凉，说旦夕之间都有可能到九泉与星冈公、竹亭公聚会，请他和澄侯到江宁来小住一段时期，兄弟们最后见见面。家里的摊子铺得太大了，简直不可须臾离当家人，澄侯无法远行，只得由沅甫做代表，前赴江宁看望大哥。
这天午后，曾国荃豪华的座船停泊在长江南岸繁昌县境的荻港码头。曾国荃记得，十年前，他率勇乘攻克安庆之威，一举拿下了繁昌县城。旧地重游，兴趣顿生，遂带着长子纪瑞及仆人王勇、熊强，离船上了岸。
当年那个威风凛凛、不可一世的九帅，而今没有前呼后拥的卫队，虽身穿价值千金的火狐皮袍，头戴名贵的紫貂暖帽，也并没有引起人们的普遍注意。主仆四人在荻港镇上四处走走望望，只见田地荒芜，市井萧条，人们穿着单薄的旧衣烂袄，在寒风中抖抖缩缩地无所事事。看来”温饱”二字对荻港镇上大多数的百姓来说，还有一段遥远的距离。曾国荃的心像压着一块石头似的沉重，这就是他从长毛手里光复十年之久的城镇比长毛占领时的情景只有差没有好。他信步走进一家小酒店，在那里喝了几杯酒。百姓手里都没有钱，农产品便宜得惊人。王勇、熊强两人手里满满地提着鱼肉鸡鸭，跟在主人背后回到船上。
吃过晚饭后，江面上已是黑漆漆的一片。江风吹打着浪涛，发出一阵阵浑浊的巨响，座船在水面上下浮动。曾国荃在船舱里就着灯光，拥被读书。时已深夜，船上所有人都已进入梦乡，劳累一天的船工发出粗鲁的鼾声。看看灯油将尽，曾国荃伸了个懒腰，预备着脱衣睡觉。
突然，他从窗口看到岸上一列火把正向船边走来。多年的军旅生涯养成了他高度的警惕性。他立即掀被下床，穿好裤和鞋，注视着岸上。火把队越来越近了，约有四五十人，中间杂夹着几匹马，还有一顶两人抬的小轿。再走近十多丈的时候，曾国荃看清了：他们人人腰上都吊着一把长长的刀”糟了，莫不是遇到了打劫的土匪”他暗
自叫苦，立即把船上的人叫醒，大家都吓得全无主张。年过二十三岁，已娶妻生子的大公子纪瑞，从小就生活在富贵安宁之中，何曾见过这等场面，早已唬得躲进深舱，脸色发白，两腿发抖。终于，举火把的人都在船边停下来，一个个头上包着黑布，腰里扎着黑布带，在那里七嘴八舌地乱喊乱叫。一个大汉从马上跳下来，向前跨了几步，四五个火把紧跟在他的身后。大汉对着船喊：”船老大，这是曾九帅的座船吗”一连喊了几声，船老大不敢答腔，吩咐伙计们都准备好棍棒刀枪。曾国荃从窗口里将大汉看了又看，似觉眼熟，便对船老大轻轻地说了几句。
”你是什么人报上名来”船老大走到甲板上，手握一根丈把长的楠竹篙，厉声喝问。