后来的野史记载：曾国藩亲自审讯李秀成的第二天，也即7月29日晚，曾国藩曾经与曾国荃有一次长谈。对于九弟曾国荃，曾国藩一直抱有感激之情的，弟弟自从咸丰六年筹建“吉”字营跟随曾国藩打仗之后，攻城拔寨，战无不克。有一次左宗棠问曾国藩，对于曾国荃，他这个做兄长的，有什么看法，曾国藩的回答是：杀人如麻，挥金如土。在曾国藩看来，曾国荃算是一个军事奇才，但在治理国家以及人情世故方面，缺少智慧，显得相当不成熟。现在，裁减湘军，首先要争取的，就是曾国荃的支持。野史曾记述兄弟二人的谈话——两人见面后，曾国荃看出了兄长的心事，干脆开诚布公地说：“东南半壁无主，我公岂有意乎？”这实际上就是很明白地问曾国藩，敢不敢造反？曾国藩把脸一沉，说，这种掉脑袋的话，你也敢说，真是糊涂啊！曾国荃似有不服，辩解说：两江总督是你，闽浙总督是左宗棠，四川总督是罗炳常，江苏总督是李鸿章，还有三个现任总督、五个现任巡抚全是湘军之人。大哥手里握着二十多万湘军精兵，如果需要，可把现在被捕的李秀成说动，让他振臂一呼，收纳十万太平天国降兵跟随你造反。这样，手上就有三十多万精锐之师。有这些兵马，即可攻破京师，恢复汉家江山，成为一代帝王。大哥，舍你其谁啊！
曾国藩摇了摇头，缓缓地说：老九，你这是知其一不知其二啊！在湘军中，有很多人可以共患难，但不能共享富贵。左宗棠一代枭雄，做师爷时便不甘居人下，如今同我平起平坐，他能甘心在我面前俯首称臣？我敢肯定，如若起事，第一个起兵讨伐我的人就是左宗棠；再说李鸿章，我若一帆风顺，李鸿章永远是我的学生；如若不顺，李鸿章必然反戈一击。李鸿章多么聪明啊，名利心极强，他当然不会轻易丢掉现有的权力和地位。并且，你看看现在这支湘军吧，这么多年的仗打下来，精锐早已打光了，那些优秀的人早已牺牲，部队已呈老态，哪里还能再打仗呢？再说李秀成，他不投降可以振臂一呼，从者云集；一旦他投降了，就是一只走狗，谁还听他的！一席话把曾国荃说得哑口无言。曾国藩还说，当兵吃粮，升官发财，就比如养了一群狗，你扔一块骨头，它就跟你走，别人扔一块更大的骨头，它就可能出卖你。我现在这个样子，又有多少骨头可以扔给他们呢？
曾国藩与曾国荃的这一番谈话，当然有野史想象的成分。不过以曾国藩和曾国荃的性格和关系，这样的谈话内容完全合理。不仅如此，曾国藩到了金陵之后，他的很多心腹，包括彭玉麟、赵烈文等人，以及著名的研究“帝王之学”的学者王闿运等，都先后来探曾国藩的底。他们一开始说话时都很隐晦，有的借机发发牢骚，抱怨朝廷奖励不公，有的替曾国藩抱屈，因为咸丰帝临死之时有遗言，许诺“克复金陵者王”。可等到曾氏兄弟攻克了金陵，慈禧太后和同治皇帝只悭吝地给了曾国藩一个“一等毅勇侯”，“王”与“侯”，相差十万八千里啊！对于部下与幕僚们的试探，曾国藩丝毫不动声色，他什么也没有表示，后来，为了避免越来越多的麻烦，曾国藩干脆亲笔写下了一副对联：“倚天照海花无数，流水高山心自知”，挂在金陵住地的中堂上。这样，所有来曾府试探风向的人，从这副对联中，就已经明白曾国藩的心迹了。
实际上对曾国藩来说，他不是没有考虑，而是考虑得已经非常彻底了。曾国藩清楚地明白目前的形势：摆在自己面前的，只有两条路，一是“进”——拥兵造反，推翻清廷，自立为帝；二是“退”——自剪羽毛，释清疑忌，以求自保。对于曾国藩来说，他显然不想继续打仗，多年的战争已让他彻底厌倦，更何况自己的身体和精力每况愈下，继续争权夺利，对于他来说，已没有太大的兴趣。曾国藩自那一次不告而辞回乡之后，人生的态度已亲近黄老哲学，几乎没有攀登顶峰的野心。水满则溢，月满则缺，曾国藩深得三昧。因此，曾国藩宁愿自己的福分和运气不要太好，所以，他把自己住的地方，命名为“求缺斋”，也是这个意思。不仅如此，曾国藩越来越迫切想退隐归田，颐养天年，在往后的岁月中，尽情地享受生活，读读书，写写文章。再说，如果造反，就一定有必胜的把握？曾国藩清楚地知道周围的形势，湘军只是清廷进攻金陵的一个先锋，螳螂捕蝉，黄雀在后，在他的身前左右，朝廷早就布置了大量兵马：在金陵的西部，官文守武昌，据长江上游；在东部，富明阿、冯子材守扬州、镇江，据长江下游；在北面，僧格林沁屯兵皖、鄂边境，虎视金陵。这些人马，都跟曾国藩的湘军毫无关联，他们可以说是来支援湘军的，也可以说是来防备湘军的。在这样的情况下，自己竭力冒险去做这样的事，不是很愚蠢吗？
既然没有前进的路，那么，身心疲惫的曾国藩就不得不寻求退路了。曾国藩知道，在这种情形下，只有迅速表明自己的态度，才能安全度过危险。那段时间，曾国藩无论在公开场合，还是在私下的日记中；无论是在给朝廷及同僚友朋的奏章和信函里，还是在给兄弟儿子的家书中，都用不同的语言和口气表达一个共同的意思：胜利得力于别人，自己无功可居。并且，一向行动迟重的曾国藩变得迅猛异常——一是果断地杀了李秀成，二是给朝廷上了一本《粗筹善后事宜折》。在奏折中，曾国藩对朝廷有两点建言：一是在两江范围内，全面恢复科举；二是请求裁减湘军。很快，朝廷同意了曾国藩的意见。曾国藩立即大告两江：当年11月份，将在两江地区恢复科举，进行甲子科乡试。曾国藩压下了两江总督衙门、江宁布政司、江宁知府等官衙的兴建计划，将经费用在两项建设上：一是重修满城；一是恢复江南贡院。修复满城，完全是出于政治原因，曾国藩是想以这样的姿态，消除朝廷对于自己拥兵自重的怀疑，曾国藩就是要让朝廷知道，自己身为一个地方汉族大员，对于清朝天子，是极度尊重的。曾国藩清楚地明白一个弱小民族的心理，也明白孤儿寡母统治的恐慌。至于恢复科举，倒是出自曾国藩的真心。作为一个曾经的读书人，曾国藩一直想为天下的学子做点什么，而且，恢复江南贡院，明显地可以笼络江南士子的心，起到稳定局势的作用。事情果然如曾国藩所料，科举的恢复，使得社会一下子变得有序起来，两江一带的年轻后生因为有了出路，又开始专心求学，变得安分守己了。
在裁减湘军方面，曾国藩可谓是计划周密——曾国藩向朝廷建议，经过这么多年的战争，湘军已“无昔日之生气”，奏请裁汰遣散，想马上裁三四万人。没等朝廷答复，曾国藩就擅自做主，在没有经曾国荃同意的情况下，以曾国荃有病为由，上奏朝廷，请朝廷不要安排曾国荃担任浙江巡抚，让他回老家养病。曾国藩担心的是，毫无城府的曾国荃因为沉不住气而坏事，并且，曾国荃因为攻城之后的大肆屠杀，以及太平天国银库大量金银失踪事件，得罪了不少人，若不暂时避一避，很可能首先遭殃的就是他。曾国藩的请求正中朝廷下怀，朝廷很快同意了曾国藩的意见，并且，在上谕中很是慰问了曾国荃一番。慈禧还特意让钦差送来一支六两的大人参，以示龙恩。直到此时，曾国荃才知晓了事情的前因后果。曾国荃很不高兴，以为兄长有意排斥自己。不久，在湘军将领秦淮河的一次聚会上，曾国荃借着酒兴，大发牢骚，曾国藩一时下不了台。曾国藩强忍住了，对此没有理会。不久，曾国荃的生日到了，曾国藩派赵烈文带礼物前去祝寿，并特意为曾国荃写了七绝十二首，其中有这样两句：“刮骨箭瘢天鉴否，可怜叔子独贤劳。”读着这样的诗，曾国荃泪如雨下。这个性格刚烈无比的汉子，终于明白了家兄的一片苦心。
8月15日，曾国荃来到了曾国藩的住地，兄弟俩又进行了一次推心置腹的长谈。这一回，曾国藩将自己的担心和苦闷向曾国荃和盘托出，粗心的曾国荃恍然大悟，他一下子明白了事态的危险，也明白了家兄的一片苦心。曾国藩告诫曾国荃，现在只剩下急流勇退一条路了，要想保全自己，只有退一步海阔天空；即使是退，还要退得有序，千万不可因乱生变。曾国藩又赠曾国荃诗一首，既表达了自己真实的想法，也是告诫各位湘军弟兄：
左列钟铭右谤书，
人间随处有乘除。
低头一拜屠羊说，
万事浮云过太虚。
那一晚曾国藩兄弟俩谈了很久，一直到外面的公鸡都在打鸣了，曾国荃才离开。这一番长谈，涉及的东西太多了，曾国荃如冷水淋头一样清醒过来。曾国荃向曾国藩表示，自己很快就回家养病。曾国藩起身为九弟送行，走到院落里，已明显地感到萧瑟的秋意了，院子里的树叶上已沾满了露珠。肃杀的秋天，说来，就悄悄地来了。
遣撤湘军的那段时间，两江总督府里人来人往，很多老弟兄都是来跟曾国藩告别的。此外，还有一些嘱托。曾国藩都一一应允了。两万五千多名湘军回家了，庞大的队伍离开金陵后，曾国藩突然感到金陵城空了不少，心中如打碎了五味药瓶似的，惆怅无比。曾国藩知道人们会抱怨他的冷酷和铁血，但谁又会知道他心底中的一丝温情呢？而且，越割舍得果断，就越是安全，这支部队如果不迅速解散的话，那么，谁料到会有什么结果？只是，曾国藩心中稍稍有点内疚，这些人都是跟他很多年的家乡子弟，打仗时，把脑袋拎在手上，现在胜利了，却只能解甲归田。除了得到一些金钱，他们获得的，实在是太少了。
因为湘军大队人马的解散，东南局势变得平稳起来。不仅仅是曾国藩，很多人都为此松了一口气。不过让曾国藩稍感宽慰的是，庞大的湘军水师保留住了——原先的湘军水师改编为长江水师，纳入了朝廷的正式编制，这一点，对于湘军很多弟兄，算是有了一个交代。值得庆幸的还有淮军的保留。以李鸿章处世的圆滑和机智，倒是可以成就一番事业的。淮军也算是他的部队，是他命令李鸿章一手组建的。把淮军留下来，是一件好事。有淮军在，自己就会很安全。况且，现在战事还没有真正平息，在北方，捻军异常活跃，淮军打仗剽悍，装备好，对北方也比较熟悉，去担当围剿任务更为适宜。至于其他方面，除曾氏兄弟的直辖湘军被裁撤之外，左宗棠部湘军也由六万余人裁去四万多，其余江西、湖南等地的湘军也大部遣散。这支庞大的队伍，就像秋天里的树叶一样，一阵风吹来，就慢慢凋落了；也像一块冰一样，泡在水中之后，慢慢地就消失了。一段时间之后，曾国藩的情绪变得平稳了，这一切，跟万事万物其实都是一个理，每个事物的诞生都是有使命的，使命结束了，末日也就来临了。