從巡撫衙門下來之後，鮑起豹與塔齊布兩個，去到提督府辦理交接事宜。胡林翼到曾國藩大營去談事情，駱秉章與徐有壬則到簽押房去商量已收復州縣的放缺掛牌等事。只有左宗棠一個人默默地回到自己的房裡，一邊喝茶，一邊冥思苦想籌款的事。
當晚，曾國藩派人悄悄地把左宗棠請進城外的大營，嗔怪地道：“季高，你又犯脾氣了不是？白天的事，潤芝都和我說了。你為了我曾滌生，犯不著和他徐有壬結怨哪？他是一省藩台，我湘軍要壯大，怎麼能離開他的支持呢？”
左宗棠雙眼一瞪道：“滌生，你不用把自己舉得那麼高！我和徐方伯打賭，根本就不是為了你！”
曾國藩一笑道：“那你是為了誰？”
左宗棠道：“為了能把水師營練成勁旅，為了能盡快剿滅長毛，還我太平日子！我與徐方伯這一賭，為的是國家！為的是我大清國的江山社稷！現在，長毛在江面橫行無忌，靠的是什麼？不就是他們有水師嗎？想剿滅他們，沒有水師怎麼行呢？經制之師已到窮途末路，剿長毛靠他們不行了。你曾滌生費了千辛萬苦建起來的水師，怎麼能經靖港一役，便一蹶不振了呢？滌生，要將長毛徹底殲滅，水師必須重整啊！”
曾國藩心事重重地嘆了口氣，緩緩道：“你左季高從哪兒去籌措這五十萬兩白銀啊！你把前程都賭上了！季高，你究竟想怎麼辦呢？”
左宗棠皺著眉頭說道：“滌生，我問你一件事。我記得你為了籌餉，曾於年初從戶部請了四千張國子監印發空白捐納的執照。你手頭還有多少張？”
曾國藩想了想道：“四千張捐納一共分給了三個省，湖南一千張，四川一千張，江西一千張，我手裡留了一千張。後來，湖南的一千張給了湖北，我這裡還有二百張。你如何問起這個？”
左宗棠點頭道：“行，你把這二百張都給我吧，我力爭一個月之內給大清國勸出二百個監生來。”
曾國藩道：“季高啊，你真是急昏了頭了。二百張執照，每張規格都是四百兩，你最多只能勸到八萬兩啊！”
左宗棠嘆口氣道：“滌生啊，勸八萬是八萬吧，水師營重整旗鼓刻不容緩哪！”
曾國藩眼圈一紅，嘶啞著嗓子喊了一聲：“來人！傳夏觀察到大帳來一下。”
外面答應一聲。不一會兒，署四川鹽道幫辦湘軍營務的夏廷樾頂戴官服走了進來。
施禮畢，曾國藩說道：“夏道啊，你把手上的二百張國子監印發的空白捐納執照取過來都交給左大人吧。戶部核發的職銜捐納執照還有多少張？”
夏廷樾答道：“禀大人，還有三百張。不過，一百張您老不讓動，說是給陣亡將弁遺屬用的。”
曾國藩起身踱了兩步，說道：“不要留了，都交給左大人吧。我尋機再為陣亡員弁請獎吧。季高啊，這三百張職銜捐納執照沒有規定銀數，你可以多勸一些。最高的品級是道員，最低的是典史。銀子兌付，你就把回單交給夏道，由夏道再寄回戶部。”夏廷樾急忙走出去。
左宗棠瞪起眼睛道：“滌生，你要是信不過我，這五百張執照我就不要了，我另外想辦法！”
曾國藩擺擺手道：“季高啊，我有什麼信不過你的呀，我是怕你毛手毛腳，給夏觀察留麻煩。說一千道一萬，總歸銀糧上的事，還是小心一些好啊！”
左宗棠揣起五百張空白執照離開大營後，夏廷樾小聲對曾國藩說道：“大人，職道知道您老與左大人是至交，您一次怎麼能給他這麼多執照呢？這要出個什麼差錯，您老可怎麼跟上頭交代呀？”
曾國藩一字一頓說道：“夏觀察呀，你是不知道啊，為了能重整我湘軍水師旗鼓，左季高把功名前程都押給徐方伯了！我這幾張執照算個什麼呀！何況，左季高的為人我最清楚不過，光明磊落，從不苟且，死腦筋卻能干成事兒。我大清國眼下，缺的正是這種人哪！”
咸豐四年（公元1854年）五月初，被江忠源奏留在營幫辦軍務的翰林院編修郭嵩燾離開江忠源大營趕回湘陰省墓。
郭嵩燾到湘不過三日，太平軍便攻破廬州；剛剛得授安徽巡撫的江忠源戰歿，其弟江忠淑、江忠義率殘部突圍。至此，湖北、安徽、江蘇、江西、浙江五省大半糜爛，再無往日的寧靜。
得知郭嵩燾回湘，曾國藩急上一折奏留郭嵩燾幫辦營務，上準。郭嵩燾只得奉旨重新來到湘軍大營入曾國藩幕。
當月中旬，歷經一個月的緊張奔波，一身疲憊的左宗棠回到了省城。左宗棠到省的當日，一張五十萬兩白銀的銀票便遞到了湘軍糧台的手上。
對湘軍頗有成見的徐有壬迫於壓力，也只得著屬員給湘軍劃撥了五十萬兩白銀。左宗棠與徐有壬從此交惡。
有了銀子，曾國藩於是請出綠營休致水師軍官丁善慶、黃冕二人重整水師旗鼓，趕造新船；又聽從郭嵩燾的建議，派員奔赴廣州，通過買辦，從洋人手裡購買槍砲，全方位裝備湘軍各營。
曾國藩手裡的一百萬兩銀子很快告罄。左宗棠得到消息的當天，便帶上兩名隨從，再次挑起籌款大任。
塔齊布則會同胡林翼、羅澤南、王錱等各路人馬，對湖南省內的太平軍開始大規模的清剿，終使太平軍在湖南無法立足，不得不分批退出省境，返回湖北。湖南全境收復。
湘軍水師營船炮又漸漸制辦齊備，陸營也有部分槍砲更換了洋人來造。這時的湖北全省已全部被太平軍佔領，每天都有上萬名百姓及散兵敗勇從各路進入湖南。
終於，湖北巡撫青麟也帶著殘部逃進了湖南苟延；湖廣總督楊霈則率部退入安徽境內殘喘。
駱秉章一面緊急安撫大量流民，一面快速上奏朝廷請求各地協餉如期到達。
咸豐接到奏報，立即下旨，旨曰：“據駱秉章、曾國藩奏，全省賊匪肅清，湖北流民大量竄入，湖北青麟率部逃離武昌抵達長沙等語。覽奏朕心甚慰。此皆駱秉章、曾國藩、塔齊布等同心謀劃得當之故也。曾國藩開除所有處分，實授兵部右侍郎，著曾國藩會同塔齊布等，督率水、陸各勇，出境馳赴湖北助剿，斷不可輕於一擲，再致損我軍威。諒塔齊布與曾國藩同辦此事，必能和衷商榷，計出萬全也。青麟於武昌失守後退於長沙，實屬偷生無恥。青麟著交荊州將軍官文即行正法。所有青麟帶赴長沙之兵勇，仍責令魁玉、楊昌泗管帶約束，迅赴楊霈軍營，聽候調遣。其湖北難民應如何安撫資遣之處，著駱秉章迅籌辦理，毋令別滋事端。曾國藩何時出境，做速奏來，不得延誤。欽此。”
從聖旨上可以看出，咸豐已經拋開最初允許各省辦團練的初衷，不得不徵調本為守土保境的團練出境作戰了。
曾國藩練成的湘勇成了朝廷收復湖北全境的希望。曾國藩接旨的當天便給咸豐帝上了《恭謝天恩折》，折後附有《請提督塔齊布會合東下》及《胡林翼隨同東征》二片。
折片拜發，曾國藩便開始籌備東征各事。十幾日後，聖旨飛遞湘軍大營：對曾國藩所奏一一照準，並補授胡林翼四川按察使隨同湘軍東征。見到聖旨，駱秉章全身一抖，手裡的茶碗隨之落地。
駱秉章急把左宗棠傳進簽押房，頓足道：“塔齊布系曾滌生一手提拔，曾滌生為確保萬全奏請塔齊布隨行東征本部院不好說什麼，但他卻連胡潤芝也一起奏調了去。季高你說，我湖南怎麼辦？如果長毛反撲怎麼迎敵？曾滌生光顧著去湖北立功，他怎麼就不想想，如果湖南出了事情，他幾萬人馬的糧餉從何而出？”
左宗棠正要講話，恰巧徐有壬進來禀告公事。駱秉章便又氣憤地把曾國藩將胡林翼調走的事對徐有壬說了一遍。
徐有壬原本就對曾國藩心存成見，一聽這話，他便兩眼一瞪，大叫道：“他曾侍郎這麼做，分明是看湖北重於湖南。他下得了手，本官也下得了手！本官掐他的糧脖子，斷他的餉根子！”
左宗棠眼望著徐有壬冷笑一聲，道：“藩台大人，左季高還想和您打上一賭。您當真敢斷幾萬湘勇的餉糧，皇上就敢砍掉您老的項上人頭！大人信不信？”
左宗棠話畢起身離去，把徐有壬氣得跳起腳來罵道：“撫台大人，您聽聽，您老請的師爺，都騎到司裡的脖頸上了！司裡這還哪是朝廷的命官，司裡都快成他左宗棠的下人了！”
駱秉章勸道：“好了，好了。季高的脾氣你又不是不知道，你別看他當著我倆的面這麼說，說不定，他此時已經出城去找曾滌生吵架去了。季高這個人哪，要文有文，要武有武，就是脾氣不好。你就看在他往日替你籌餉的份上，多擔待他一些吧。現在你還看不出什麼，真到有了事故，你才知道這個人的能耐呢。”
駱秉章果然料個正著，現在的左宗棠，當真已經離開巡撫衙門，乘轎直奔城外的湘軍大營找曾國藩去了。
一見曾國藩的面，左宗棠也不顧羅澤南、彭玉麟、楊載福等各路將官在場，大聲說道：“滌生，你真是糊塗！你東征奏請塔齊布率軍隨行也就是了，如何連胡潤芝也一髮帶了去？”
曾國藩一愣，說道：“季高，你這是咋了？胡潤芝文韜武略俱全，是難得的能員，本部堂奏調能員隨徵不對嗎？”
左宗棠頓足道：“當然不對！你怎麼就不想想，你東征湖北，餉糧來自哪裡？還不是湖南嗎？岳州是湖南、湖北的主要水上糧道，而潤芝此時就守在岳州。岳州幾次被長毛佔據，自打潤芝去後，三千守軍被他佈置得極其得當，一絲破綻不給長毛。你可好，調了塔齊布不算還要調走潤芝，你這是自掐咽喉啊！”
曾國藩愣了半晌，點頭道：“季高所言極是。你這一頓罵，倒把我罵醒了。本部堂接到聖旨，一心只想盡快收復湖北全境，卻忘了後路！季高，你罵得好！本部堂所請皇上雖已恩准，但本部堂仍決定把潤芝留下來。當然，這需要駱撫台單給皇上遞個折子。來人，給左大人擺茶上來。左大人的嗓子已經冒煙了！”在座的湘軍將領哈哈大笑起來。