咸豐三年（公元1853年）四月，太平天國先後派林鳳祥、李開芳等率軍北伐，胡以晃、賴漢英等率軍西征。為配合太平軍行動，福建、上海小刀會起義，湖南郴州朱九濤、寧鄉徵義堂起義，湖北各縣義堂會亦準備適時起義。
張亮基得到消息，急調湖北提標兩營並督標三營，專委左宗棠應對此事。左宗棠奉到札委連夜率軍出發，將未及起義的義堂會首領逐一抓獲。左宗棠因功被賞五品頂戴，以同知直隸州用。
六月，左宗棠隨署湖廣總督張亮基出巡鄂省下游，布防廣濟田家鎮。在田家鎮，左宗棠向張亮基建議欲戰敗太平軍，非武裝水師、控馭長江不能收全功。
張亮基表示讚許，並商定回署即上奏朝廷，力求在短期內在武昌建成一支水師營。左宗棠當夜把張亮基的話函告曾國藩、江忠源、郭嵩燾三人。巡閱回到武昌後，張亮基專委左宗棠一面籌劃組建水師的事，一面謀劃上奏的起稿事宜。
顯然，張亮基決定把組建水師的重任交給左宗棠。左宗棠於是忙碌起來，他決定不負重望，一定要在長江水面上建起一支能戰能守的水師出來。九月初四，張亮基著人把左宗棠傳進簽押房，陰著臉說道：“季高，水師的事你不用起稿了，也不用張羅了。本部堂剛接到聖旨，上頭著本部堂補授山東巡撫。”
左宗棠登時愣住，腦海一片空白，許久說不出一句話。
張亮基接著說道：“雲貴總督吳文鎔調補湖廣總督，本部堂被降授山東巡撫。季高，山東的局面較這裡好一些，你也隨我到山東去吧。”
左宗棠漸漸冷靜下來，道：“大人，您要去山東，這胡潤芝可怎麼辦？他已經從黎平起程正往這裡趕來，他這不是要撲空嗎？”
張亮基撫須說道：“潤芝的事本部堂已經想好了策略。等吳制軍到時，本部堂把事情經過向他交代一下也就是了。湖北正是用人之際，相信吳制軍也不會把潤芝拒之門外的。季高，本部堂一會兒就給上頭遞個折子，把你奏調到山東，隨營差委如何？”
左宗棠長嘆一口氣道：“大人的美意下官謝了。何況，下官的頭上雖有個五品頂戴，但尚未進京引見，不知會指派何省候補。大人把一個未明確省份的官員調來調去，上頭不會同意的。”
張亮基也嘆口氣道：“你老弟說得也在理。不過，老哥就這樣離去，你老弟怎麼辦呢？如今局面越來越壞，上頭什麼時候才能下旨讓你進京去引見啊？你總不能回白水洞去候旨吧？”
左宗棠苦笑一聲道：“大人所言不錯，這也是下官命該如此，怨不得別人。”
張亮基低頭想了想，忽然抬頭說道：“季高，老哥倒想出了一個好主意。老哥明兒就給駱中丞去函一封，薦你到他的幕府去幫忙如何？”
左宗棠擺手道：“大人容禀。下官已打定主意，離開大人後，下官就到白水洞去住，引見的聖旨下來前，下官不想再出山了。大人請放心，下官在湘陰還有幾十畝薄田，養家度日完全可以。大人，吳制軍這一兩天就能來到武昌，下官準備明兒就向大人辭行，請大人允准。”
張亮基一愣道：“怎麼，你明日就要走嗎？你應該等吳制軍到武昌以後再做打算。說不定，吳制軍能把你留下來呢！那豈不是更好嗎？”
左宗棠對著張亮基深施一禮，口裡說道：“大人對下官的一片恩情，下官永遠銘記在心。如果天遂人願，下官與大人還會相見的。下官明兒就不來衙門打擾了，請大人凡事保重。”左宗棠禮畢起身，轉身走出簽押房。
張亮基一個人搖頭嘆道：“這個左老三，他認准的理兒，八頭牛也休想拉他回來！”
左宗棠當日回到自己的房裡，連夜給曾國藩、江忠源、郭嵩燾、楊昌浚各修書一封，通報自己回白水洞的事。
張亮基當夜在總督衙門擺了一桌酒席為左宗棠餞行，左宗棠狂醉而歸。第二天早飯過後，左宗棠帶著隨從悄悄離開武昌，登船趕往湖南。
船到長沙，左宗棠特意著便裝登岸，到湘軍操練營去看了看；又趕到衡州，夾雜在人群中，偷看了一回湘軍水師營演操。一連十幾日，左宗棠沒有驚動任何人，便悄悄趕往湘陰。
到白水洞的當日，左宗棠便致書江忠源、郭嵩燾二人稱：“滌生一介文官，頗會練兵。弟觀湘軍水、陸各營，可以料定，致長毛於死地者，必湘軍也。”
咸豐四年（公元1854年）正月初一，湘陰東山白水洞左府張燈結彩，正在歡度新年。為過個團圓年，新年的頭一天，左宗棠特意派人赴湘潭，將岳父、岳母接到白水洞來住，以此來化解自己與周家的宿怨。週鄉紳夫婦異常高興，連稱賢婿不止。
左宗棠在與全家過年的同時，仍在密切地關注著太平軍的動向。左宗棠料定，太平軍在攻取江寧的同時，不可能放棄湖廣。
正月十九日，太平軍西征軍胡以晃、賴漢英等部再次攻破漢口、漢陽，直撲武昌。經一晝夜激戰，武昌也被攻破，吳文鎔戰歿，署湖北巡撫崇綸率軍敗逃。
太平軍馬不停蹄南下進攻岳州，擬由岳州進入湖南。湖南團練大臣曾國藩統率水、陸兩路湘勇，從湖南衡州出兵北上，迎戰太平軍。行前，曾國藩為正師名，特向海內發布由其親自擬就的《討粵匪檄》一文，以昭天下。
檄文一共羅列了洪秀全、楊秀清等人五項大罪：一、肇亂五年，蹂躪州縣五千餘里，毀廟宇、學堂、詩書、農舍，人民深受其害。二、所掠女子不放足，則砍其雙腳；男子敢藏私財，砍掉腦袋。三、從耶穌教義裡斷章取義，盡毀孔聖及歷代先賢之書，對中華數千年之文化掃地蕩盡，亂中華人倫。四、行狀不如李自成、張獻忠。五、中華數千年來最大之邪教，人神共憤。檄文最後號召有識之士、血性男子，共同殺敵，殄滅此人間小丑。
檄曰：
“為傳檄事：逆賊洪秀全、楊秀清稱亂以來，於今五年矣。荼毒生靈數百餘萬，蹂躪州縣五千餘里，所過之境，船隻無論大小，人民無論貧富，一概搶掠罄盡，寸草不留。其擄入賊中者，剝取衣服，搜括銀錢，銀滿五兩而不獻賊者即行斬首。男子日給米一合，驅之臨陣向前，驅之築城浚濠。婦人日給米一合，驅之登陴守夜，驅之運米挑煤。婦女而不肯解腳者，則立斬其足以示眾婦。船戶而陰謀逃歸者，則倒抬其屍以示眾船。粵匪自處於安富尊榮，而視我兩湖三江被脅之人曾犬豕牛馬之不若。此其殘忍殘酷，凡有血氣者未有聞之而不痛減者也。
“自唐虞三代以來，歷世聖人扶持名教，敦敘人倫，君臣、父子、上下、尊卑，秩然如冠履之不可倒置。粵匪竊外夷之緒，崇天主之教。自其偽君偽相，下逮兵卒賤役，皆以兄弟稱之，謂唯天可稱父，此外凡民之父皆兄弟也，凡民之母皆姊妹也。農不能自耕以納賦，而謂田皆天王之田；商不能自買以取息，而謂貨皆天王之貨；士不能誦孔子之經，而別有所謂耶穌之說、《新約》之書，舉中國數千年禮義、人倫、詩書、典則，一旦掃地蕩盡。此豈獨我大清之變，乃開闢以來名教之奇變，我孔子孟子之所痛哭於九原，凡讀書識字者，又烏可袖手安坐，不思一為之所也。
“自古生有功德，沒則為神，王道治明，神道治幽，雖亂臣賊子窮凶極醜亦往往敬畏神祗。李自成至曲阜不犯聖廟，張獻忠至梓潼亦祭文昌。粵匪焚郴州之學官，毀宣聖之木主，十哲兩廡，狼藉滿地。嗣是所過郡縣，先毀廟宇，即忠臣義士如關帝、岳王之凜凜，亦皆污其宮室，殘其身首。以至佛寺、道院、城隍、社壇，無朝不焚，無像不滅。斯又鬼神所共憤怒，欲一雪此憾於冥冥之中者也。
“本部堂奉天子命，統師二萬，水陸並進，誓將臥薪嘗膽，殄此凶逆，救我被擄之船隻，找出被脅之民人。不特紓君父宵旰之勤勞，而且慰孔孟人倫之隱痛；不特為百萬生靈報枉殺之仇，而且為上下神祗雪被辱之憾。
“是用傳檄遠近，咸使聞知。倘有血性男子，號召義旅，助我征剿者，本部堂引為心腹，酌給口糧。倘有抱道君子，痛天主教之橫行中原，赫然奮怒以衛吾道者，本部堂禮之幕府，待以賓師。倘有仗義仁人，捐銀助餉者，千金以內，給予實收部照，千金以上，專折奏請優敘。倘有久陷賊中，自找來歸，殺其頭目，以城來降者，本部堂收之帳下，奏受官爵。倘有被脅經年，髮長數寸，臨陣棄械，徒手歸誠者，一概免死，資遣回籍。在昔漢唐元明之末，群盜如毛，皆由主昏政亂，莫能削平。今天子憂勤惕厲，敬天恤民，田不加賦，戶不抽丁，以列聖深厚之仁，討暴虐無賴之賊，無論遲速，終歸滅亡，不待智者而明矣。若爾披脅之人，甘心從逆，抗拒天誅，大兵一壓，玉石俱焚，亦不能更為分別也。
“本部堂德薄能鮮，獨仗'忠信'二字為行軍之本，上有日月，下有鬼神，明有浩浩長江之水，幽有前此殉難各忠臣烈士之魂，實鑑吾心，咸聽吾言。檄到如律令，無忽！”
此文傳於左宗棠手中。左宗棠連讀三遍，擊案讚歎道：“曾滌生不愧為三湘子弟中的頭號人物，當真不是浪得虛名，吾不如也！”這是左宗棠在自己的書房裡，對著滿架的圖書發自內心的感慨。
當時，羅澤南與附生彭玉麟均隨曾國藩練勇。羅澤南統帶陸勇，彭玉麟統帶水勇，羅澤南的門人李續宜、李續賓、李杏春等亦為營官。左宗棠隨張亮基離開湖南不久，經羅澤南舉薦，巡撫衙門文案楊昌浚也加入進來，總理湘軍文案。