回到江寧後，曾國藩和彭玉麟、黃翼升、李朝斌等人進一步商量長江水師的永久保留問題。曾國藩的最大顧慮是：將團練改為經制之師，這是沒有先例的事，不知朝廷能否同意。
芥航法師的所謂“以老衲冷眼觀之”的話，畢竟只是他的看法，是不是朝廷的意思，實在顯得很玄虛。黃翼升、李朝斌說，不管怎樣，先上個折子再說。彭玉麟思考良久，說出一套完整的設想來：“團練改為經制之師，沒有前例可援，若是陸軍，此事萬萬不可提，但現在是水師，卻可望獲得准許。一則朝廷鑑於從宣宗爺開始，海疆屢受夷人侵凌，需要建一支海防水師。二則長江水師組建十餘年，有一個現成的規模，有良好的西洋裝備，最有改為海防水師的條件。三則這些年長江水師的名聲畢竟比陸軍要好些，朝廷對它的猜忌少。”
由長江水師分統出身後任淮揚水師、太湖水師統領的黃翼升、李朝斌完全贊同彭玉麟的分析。黃翼昇說：“這麼好的一支水師隊伍，想必朝廷也捨不得把它長期當團練看待。”
李朝斌說：“把長江水師改為海防水師，真的讓朝廷撿了大便宜。”
曾國藩想：雪琴前兩條有道理，至於第三條，那是出於他的偏愛，長江水師的名聲比吉字營、霆字營也好不了多少。
便笑著說：“依雪琴看來，長江水師改為經制之師是有十成把握咯！”
彭玉麟說：“十成把握說不上，五成可以打包票。”
黃翼昇說：“不只五成，少說也有八成。”
曾國藩搖搖頭說：“八成？我看未必有，還是雪琴估計得穩當，大概五成左右。”
彭玉麟說：“不再走別的途徑，便只有五成把握；若再走一條路，就有可能達到八成。”
“再走哪條路？”李朝斌急著問。
“有一個人，向來支持滌丈和湘軍，找他，一定行。”彭玉麟慢悠悠地說。
“哪一個？”李朝斌脫口問道。
黃翼昇說：“你是說找武英殿大學士賈楨？”
曾國藩心裡明白，但不做聲。
“找恭王。”彭玉麟自己回答了。 “恭王東山再起，雖失去了議政王的頭銜，但仍是軍機處領班大臣。這說明太后對他既有隔閡，但又不能缺少。湘軍能建大功，一向仰仗恭王的鼎力支持；且恭王在與洋人的交涉中，倍感國勢柔弱的恥辱，多次提出要建海軍，辦工廠，徐圖自強。他一定會全力支持將長江水師改為國家的海防之師。”
“雪琴，你剛才說恭王和太后仍有隔閡，何況又失去了議政王的頭銜。這樣一件大事，太后會讓他一人作主嗎？”曾國藩問。
“是的，我為此想了很久。”彭玉麟說，“恭王經前次挫折，處事的顧慮會多一些，很可能不會一人獨自決定。我有一個替恭王著想的主意：請恭王對太后說，長江水師改經制之師，是一件很大的事，可援朝廷處理大事的舊章，由軍機處發文徵求各省總督意見，然後再作決定。”
“假若各省總督意見不一怎麼辦，豈不反而誤了大事？”黃翼昇說。
彭玉麟笑著說：“昌歧顧慮得有道理，但沒有具體分析。
兩江之外的其他七省總督，我都一一作了揣測。直隸總督劉長佑出於我們湘軍，有利於湘軍的事，他決不會反對。陝甘的楊岳斌就更不用說了，兩廣的毛鴻賓是滌丈的同年，雲貴的勞崇光，我們湖南的鄉賢、滌丈的老友，四川的駱秉章，多年來為長江水師籌過上百萬兩餉銀，他們三個都不會反對，稍有點麻煩的是湖廣的官文和閩浙的左宗棠。 ”
這的確是兩個關鍵人物。大家都注意聽彭玉麟的分析：“官文這個人很複雜。他既仇視湘軍，又沾了湘軍的光。不是湘軍的勝利，哪有他的一等伯爵？他是個聰明人。據滌丈說，他上次來江寧，背地裡行陷害，表面上對滌丈恭敬，還要說湘軍的好話。此人的特點是貪名貪利，無定識，無風骨，你給他點好處，他就會站在你這邊。我想給太后、皇上的折子裡，乾脆建議改制後的長江水師統領讓他官文做，我們都做他的副手，他一定會樂意。”
曾國藩想起他創辦湘勇以來，便一貫採取推出一個滿人來領頭的做法，對彭玉麟此計甚為讚許：“雪琴，你的這個辦法很高明。”
彭玉麟快活地笑道：“這是向你老學來的。”
李朝斌說：“官文那傢伙對水師狗屁不通，弟兄們哪裡會服他！”
黃翼昇說：“你不要急，他只是掛個空銜的。”
李朝斌說：“萬一他要亂干涉呢？”
彭玉麟說：“他這個人聰明就聰明在這裡。知道自己不懂水師，只要有這個空名他就高興了，不會具體插手的。他豈止不懂水師，陸軍他也不懂，錢糧刑谷他樣樣不懂，但他偏偏就當了十多年的湖廣總督，還升了大學士。你說他是草包？
他的聰明之處，恰恰表現在他什麼都不管，只管吃喝玩樂、圖享受、討姨太太。凡他掛名的職分內，有了功勞，他是頭一份；出了差錯，都是具體辦事人的。這正是官文做官的訣竅。 ”
一番話說得這樣的一針見血，大家都開心地笑起來。
“至於左季高，以他的脾性，很可能會反對此舉。不過，左季高畢竟不是官文之流。他識大局，有遠見，懂得建海防水師的重要性。我想，只要跟他說清楚，他也不會盲目反對的。萬一他硬要說我們是私心，也不怕，大家都同意，他一人的力量究竟有限。”
“雪琴的想法很好，不過，這個折子我不能上。我提出裁撤湘軍，還說一個人都可不留，現在又說要把長江水師改為經制之師，難以自圓其說，還是請雪琴給太后、皇上上個折子。”曾國藩望著彭玉麟說，“你看如何？”
“好，我直接向太后奏請。”彭玉麟答得很痛快。
“恭王府那裡最好派一個人去為好，有些話不便明寫。”隔一會，曾國藩又想起一件事。他腦子裡浮現當年派康福進京的往事，嘆息康福已死，身邊缺少這樣一個文武雙全的人才。
“大人，可以派薛福成去。”黃翼昇說，“這個人聰明靈活，兄長又是專給王公大臣看病的名醫，派他去最合適。”
是的，薛福成是個合適的人選，他雖然缺少康福的武功，但在京師，靠著兄長的特殊身分，他又比當年康福有利得多。
“左季高那裡是寫信，還是派人去？”曾國藩自言自語道，那神態看似頗有點為難。
“左季高目前正在杭州，我自己去走一趟。”彭玉麟自告奮勇，“好幾年沒見面了，我還蠻想他哩！”
“太好了！其他幾位總督那裡，就由我寫信。長江水師的事有雪琴料理，真比我強多了。”曾國藩放下心來，他佩服彭玉麟的經緯之才，又感激他的仗義之情。
彭玉麟親自為長江水師的改制寫了一份折子。先簡述長江水師自組建到壯大的過程，歷數它十多年來的重大戰功；然後轉筆寫自道光中葉以來海疆不寧，屢遭侵襲的慘痛歷史，從中得出建立強大海防之師的重要性；繼則寫長江水師組織嚴密，將才眾多，裝備精良，戰鬥力強，已初具海軍規模；最後講自己本擬終老退省庵，現在決心為建設大清王朝自己的海軍不辭辛苦，再度出山，鞠躬盡瘁，死而後已。通篇奏摺立論光明磊落，無懈可擊，洋溢著為國遠慮、為君分憂的耿耿志士忠心，全無半點要保存一支屬於自己的武裝的私心雜念。曾國藩看後擊節讚歎。他覺得這篇奏摺是如此地卓爾不群，簡直為自己所有的奏章所不可及。有這樣一份折子奏上去，誰還能有理由阻止長江水師的改制呢？他對著奏章沉吟良久，始終不能從兩種推測中把握一種：究竟是彭玉麟聰明絕頂，善於以最冠冕堂皇的理由掩蓋自己的私人目的呢，還是他的確胸中充塞著憂國憂民的浩然正氣，至情所激而發為至文呢？不過，有一點是曾國藩最後所確認的，那就是無論是出於前者還是出於後者，他都自嘆不如！
曾國藩由彭玉麟這篇奏疏得到啟發：如果將道光中葉以來，洋人與我們海上接仗的歷史如實地排列出來，把它作為這個奏疏的附件的話，它將會以慘重的教訓，使閱讀此奏者更為清醒地認識到建立海軍的必要性，而不得不從心裡贊同長江水師的改制。
兩江總督幕府有的是這方面的人才，以汪士鐸為首的編纂處立即組成。他們苦乾了七日七夜，終於編成一篇四萬字的《華夷海戰三十年大事記》，並謄抄兩份。一份存底，一份連同彭玉麟的奏疏，由薛福成親自送到北京恭王府。
果然如曾、彭所料，這篇奏疏連同附件引起了恭王奕、軍機大臣文祥等人的高度重視，連兩宮太后也為之動容。恭王建議，為慎重起見，命軍機處將彭奏和《大事記》一併發給直隸、陝甘、四川、閩浙、湖廣、兩廣、雲貴各省總督，要他們就此事各抒己見。這時，彭玉麟也親赴杭州遊說左宗棠。
出乎彭玉麟的意料，左宗棠聽完他的陳述後立即表態：完全贊成長江水師改編為朝廷的經制之師。至於建海軍一事，左宗棠勸彭玉麟不必著急。第一步要藉此良機將長江水師整頓好，把不稱職者盡行汰去，寧缺勿濫。第二步再做好長江兩岸的巡守，保衛內河商船、民船的航行，並認真訓練人才。第三步則以狼山鎮為基地，籌備外海水師，保衛海疆，抵禦外寇。現在先行第一步。並說他將以此復奏軍機處。彭玉麟為左宗棠光風霽月般的胸襟所感動，臨別時緊握老朋友的手說：“今後長江水師的整頓、建制等方面，還請你多多指導。”左宗棠當仁不讓地點頭應允。
官文也給曾國藩、彭玉麟來了信，說我大清王朝早就應該建海軍了，長江水師已是海軍雛形，理應改為經制之師，永遠存在下去。又說自己於水師不懂，假若今後真的兼了海軍統領，那是無比榮幸的事，還請曾、彭多多輔佐，共創偉業。
曾國藩、彭玉麟閱後，會心一笑。
楊岳斌接到軍機處的咨文後十分激動，連夜命幕僚起草，以最堅定的態度支持此事。並說它將是我中國千古未有之大事，必會使宣宗爺、先帝含笑於九泉。又說自己寧可不當陝甘總督，願去改制後的水師充當一個偏裨將校。
劉長佑、駱秉章、毛鴻賓都明確表示贊成此事。只有年邁的勞崇光態度比較含糊，既表示同意，又說要慎重，讀完全篇，也不知他究竟是讚成還是不贊成。不過，勞崇光在七位總督中的地位，只與毛鴻賓相上下，都是屬於沒有戰功一類的，遠不如左、楊、官、劉、駱，何況他也沒有明白反對。
長江水師改為經制之師，就這樣順順噹噹地通過了。皇太后接受了左宗棠的建議，籌建海軍一事暫緩，先把水師整頓好，以巡守長江為主要職務。更令他們興奮的是，朝廷任命彭玉麟為統領，並沒有官文的名字，那個好名的大學士空喜了一場。
彭玉麟日夜與黃翼升、李朝斌等人計議，擬出了一個章程：統領之下設提督兩員，由黃、李分任；建岳州、漢陽、湖口、瓜州、狼山五鎮，設總兵五人；立營二十四個，戰船七百七十四號，營官二十四員，哨官七百七十四員，兵士一萬二千人。鑑於水師中受賞大銜的很多，而實際營哨官只有八百來名，僧多粥少，不夠分配，彭玉麟又想出一個點子：以大銜借補小缺。按銜高低排，同銜的按資歷排。這樣排下去，許多銜位高達參將、游擊的，也只能當千總、把總。雖略覺委屈，他們也樂意。銜是空的，職務才是實的，千總、把總雖低，總比那些有銜無職的要強多了。長江水師原有二萬人，彭玉麟對這支人馬作了整頓。沒有戰功的，疲沓的，走私的，吸食鴉片的，有結黨嫌疑的，統統予以裁撤。長江水師開始有了新氣象。曾國藩對彭玉麟的整頓完全放心，他自己則把主要精力放在吏治上。
他素來服膺王陽明的“破山中賊易，破心中賊難”的觀點，認為正人心、厚風俗、扭轉世風要比破長毛下金陵更難，而世風的好壞主要係於當政者。最高當政者以自己的人格和才能為表率，默運於淵深微漠之中，慢慢地引起身邊人效法，再向全國各級官吏推廣，這樣就可以形成一種強大的勢力。憑著這股勢力，人心可正派，風俗可淳厚。因而，他自己盡量做到以身作則，試圖以此來感染身邊的幕僚們，把他們培養成好的種子，撒到兩江三省去，影響各府州縣的官吏，從而逐漸把兩江的風氣扭轉過來。為達此目的，他自己辦事比先前更加勤勉。州縣凡命案都要由他最後裁決，又經常派幕僚們下去查訪吏治民情。繼裕祺之後，又革掉了幾個民憤很大的貪官，代之以幕僚中德才兼備者。
這時容閎從海外回來，大批從英美購來的機器母機也運到吳淞口。曾國藩大力表彰了容閎的忠心和才幹，並安排他和楊國棟、徐壽、華蘅芳、李善蘭等人，在上海籌辦機器製造總局，把安慶內軍械所的大部分機器遷過去，小部分留下，作為上海總局的分局。
皇上念及功臣，特為降旨，為曾國藩的一等候之上褒加“毅勇”二字，曾國荃的一等伯之上褒加“威毅”二字，李鴻章的一等伯之上褒加“肅毅”二字，曾國藩心中歡喜。
正當曾國藩為兩江的振興而努力的時候，清軍與捻軍交戰的前線傳來令人震驚的消息。這個消息打亂了他的全盤計劃，逼迫他不得不重上戰場，最終使他由一個勝利者變為失敗者。