光緒二十一年三月二十三日（公元1895年4月17日），李鴻章與日本代表伊藤博文再次坐到一起，履行議約的最後一道程度：畫押鈐印。
此條約因在日本馬關的春帆樓簽訂，人們習慣稱之為《馬關條約》或《春帆樓條約》。
條約規定：清政府承認朝鮮“獨立自主”；割遼東半島、台灣、澎湖列島及附屬島嶼給日本；賠償日本軍費白銀兩億兩；增開重慶、沙市、蘇州、杭州為通商口岸；開闢內河新航線；允許日本在中國的通商口岸開設工廠，產品運銷中國內地免收內地稅；交換俘虜，中國即行釋放日本軍事間諜或被嫌逮之日本臣民，並不得逮捕為日軍服務的人員。關於割讓遼東半島一條，中日又特別搞了個補充說明，說明強調：中國可用庫平銀三千萬兩贖回該島，正式條約以後簽署。
李鴻章總算用三千萬兩白銀保住了遼東半島。
事後，連伊藤博文也不得不承認，逐回張蔭桓、邵友濂而同意李鴻章來議和，是個敗招儿，否則，日本絕不可能失去遼東半島。
伊藤博文一次對陸奧宗光這樣說道：“無可否定，中國的李鴻章，的確是個外交老手。這個人很了不起！我們低估他了。”
陸奧宗光後來道：“李鴻章自到馬關以來，從來沒有像今天會晤這樣費盡唇舌進行辯論的。他也許已經知道我方決議的主要部分不可變動，所以在本日的會談中，只是在枝節問題上斤斤計較而已。例如最初要求從賠償款二萬萬兩削減五千萬兩；看見達不到目的，又要求減少二千萬兩，甚至最後向伊藤博文全權哀求，以此少許之減額，贈作回國的旅費。此種舉動，如從他的地位來說，不無失態，但可能是出於'爭得一分有一分之益'的意思。”
李鴻章畫押簽字的當日，頭上的紗布尚未解除，臉上亦帶著那顆恥辱的砂彈，即登舟起程回國。他不想在這個國家多停留一刻。
《馬關條約》被光緒帝批准後，立即在各階層引起強烈反響。同年5月2日，廣東南海舉子康有為，聯合在京會試的各省舉人一千三百多人，聯名上書光緒帝，請求拒絕此條約，要求下旨將李鴻章速逮京師斬首。很快，各省督撫也紛紛上折，提出“請誅議和之人以謝國”。
李鴻章尚在回國途中，卻已經成了千夫所指的罪人。船抵天津，署直隸總督王文韶特從保定趕來接他。
李鴻章一見王文韶，眼裡卻忽然流出淚水，他哽咽著說道：“老夫此次赴日本議和訂約，致一生事業，掃地無餘。”
王文韶勸道：“老中堂萬莫如此，先到行館歇著吧。”
李鴻章擦了把淚水道：“行館的後面還有十幾間閑房子，煩老哥著人打掃一下，然後把糟糠及孩子們接過來，老夫要在這裡住些日子。”
王文韶道：“老中堂，您老還要進京復命啊！”
李鴻章苦笑一聲：“復命一事，只能讓犬子經方代勞了。馬關約成，雖割地賠銀，但總算息了戰火。淮軍已不成軍，海軍已不復存在。老夫從此後了無牽掛，是真正到了歸籍休致的時候了！”
小紅這時小聲說道：“老爺，咱還是進房歇著吧。您老的身子骨還沒全好呢！”
李鴻章默默點了一下頭，拄著拐杖在小紅和經方的攙扶下，一步步走向行館。從日本回來後，他自感身心憔悴，萬念俱灰。被千夫所指，原本就是意料之中的事，他不想與人爭辯，更不想向朝廷表功，他只想在天津靜養幾天，然後便長告病假，攜帶一家大小南歸故里。
他甚至已經肯定地得出結論，他此次休致，不用過分懇請，朝廷也會答應；他甚至不用上折，朝廷也會勒令他休致。為什麼呢？因為朝廷總要找個替罪羊來平息此次訂約所引發的眾怒。
這個替罪羊既不會是恭親王，也不會是慶親王，更不會是皇上，只能是他李鴻章。
但李鴻章此次的猜測卻是大錯特錯了。光緒皇帝既未允准他在天津養疾，慈禧太后亦未許他休致，而是連下二旨，著他速進京師與日本駐華公使林董商訂回贖遼東半島之約。
李鴻章至此才明白，朝廷如此冷酷無情，緣於自己與日本訂約的使命尚未完成。
他委盛宣懷去一趟京師，先為自己買下一處宅子，又把王文韶請過來，把身邊得力的幾名能員推薦給他，囑他尋機考核，委以重任。
王文韶卻道：“老中堂，有一個人，下官卻拿不准該怎麼待他？”
李鴻章笑道：“老夫料得不錯的話，這個人當是浙江溫處道現在小站訓練新軍的袁慰亭。這個人從朝鮮回來，便一頭扎進榮祿的懷裡，又到處為翁同龢歌功頌德。他是浙江道員，榮祿和翁同龢，卻偏舉薦他在天津練軍，說他懂兵事。老夫從日本回來已一月有餘，直隸境內的大小官員，都來看視老夫，說一兩句安慰的話，獨他不來見我，大概怕受連累，影響自己的前程吧。咳，此李鴻章，畢竟不是彼李鴻章。淮軍光了，海軍沒了，腰彎了，又學會賣國啦！”
李鴻章終於也沒有說出王文韶應該怎樣對待袁慰亭。袁慰亭即是前駐朝鮮通商大臣袁世凱，慰亭是他的字。
袁世凱是河南項城人，別號容庵。光緒八年（公元1882年），袁世凱隨淮軍提督吳長慶入朝鮮，負責前敵營務處，後經李鴻章保舉為三品道員。中日因朝鮮起戰端，袁世凱由朝回國，實授浙江溫處道。在京師引見期間，得兵部尚書總理衙門大臣榮祿與戶部尚書軍機大臣翁同龢的賞識，被二人密保到天津小站編練新軍，聖恩漸好。
李鴻章攜眷入住京師以後，稍稍歇息了兩天，便開始和林董商議訂約的事。
此次中日會商倒不費甚麼周折，無非是把日本對俄、法、德三國關於遼東半島的承諾，形成書面文字而已，史稱《遼南條約》。約成之後，李鴻章上折告假養疾。光緒帝賞李鴻章兩月病假。
李鴻章名為養病，其實並無病，只是閒居而已。能辦些事情的直隸總督與北洋通商大臣已被免除，頭上只剩頂亮閃閃、耀人眼目的文華殿大學士的桂冠和三根招人眼紅卻一錢不值的花翎，還有就是每逢出門拜客手裡握著的那根紫韁，這些，成了李鴻章此時的資本。
李經方奉朝廷之命赴台灣與日本辦理完交割手續之後，也是染病在床，無臉出門見客。台灣百姓恨透了李鴻章，也恨透了李經方。
曾經顯赫的李家父子雖同居京師，但顯然正在被朝廷忘掉。其間，經方兩次請洋醫進府，想將留在李鴻章臉頰裡的砂彈取出來，卻兩次遭李鴻章拒絕。這顆砂彈於是就永遠陪伴著李鴻章，直至他離開人世。
趙蓮雖未隨夫入日，但受的打擊卻比李鴻章還大，已是病得不能起床，眼見著就等閻王來叫了。
小紅每日都守在李鴻章的身邊，陪他下棋，陪他說話。李鴻章幾次勸她去江西度日，她抵死不肯，勸得急了，她便要死要活，就是不肯離開李鴻章半步。小紅姑娘成了李鴻章晚年最大的安慰。
李鴻章進京三個月後，便致電雲南巡撫崧蕃，求崧蕃給代購幾方雲南的地產柏木，聲明一定要最上等的，價錢不惜。柏木很快運進京師，果然是一等一的好木材。
李鴻章讓管家把木舖的好匠手請進府裡，精心地打造了兩具好壽材。他給夫人做了一口，自然也有自己的一口。
這時的光緒皇帝在翁同龢的指點下，為自己培植了一些力量，形成了以翁同龢為首，翰林院侍讀學士文廷式、進士康有為為輔的帝黨。而以恭親王、禮親王、慶親王為首的一班王公大臣們，則仍唯慈禧太后的眼色行事，軍機大臣李鴻藻、剛毅，體仁閣大學士管禮部的徐桐等一班人，更以懿旨為準，無形中便成了後黨。
帝黨鼓吹變法強國，後黨堅持墨守成規，跟唱戲一般，頗有些他方唱罷我登場的意思，很是熱鬧。
光緒二十一年（公元1895年）十二月二十七日，李鴻章這一天同往常一樣，早飯後先到夫人的房間問問病情，在榻前坐上一會兒，然後便由小紅扶著到院子裡散步。這時的天氣很好，雖有些寒冷，但並不十分凍人。
李鴻章一邊散步，一邊時而停下來看一眼天空，顯得很有興致。小紅見李鴻章的心情不錯，不由小聲說道：“老爺，您老好像特別高興，奴婢扶您老到街上走走？”
李鴻章笑著搖了搖頭，輕聲道：“紅兒啊，老話說，七十三八十四，閻王不叫自己去。你說，老夫過年就七十四歲了，怎麼還不死啊？”
小紅忙用手摀住李鴻章的口道：“老爺，奴婢不想听這話，奴婢還沒伺候夠您呢！”
李鴻章苦笑一聲道：“可老夫已經活夠了！”
小紅正要說話，管家卻急匆匆地從方廳裡走了出來，說道：“老爺，有旨下來，傳旨官在方廳呢！”
李鴻章一愣，急忙對小紅說道：“紅兒呀，扶老夫去更衣！”
李鴻章很快便頂戴花翎走進方廳裡，傳旨官一見急忙高喊一聲：“聖旨到，李鴻章接旨！”
李鴻章跪倒在地說道：“臣李鴻章接旨！”
傳旨官展旨讀道：“據總理衙門鈔電，明年四月初，為俄君加冕之期，已派李鴻章為正使，前往致賀。欽此。”
打發走傳旨差官，李鴻章用手撫摸著聖旨，不由自言自語道：“朝廷還記得我李鴻章嗎？”
他當即把府裡的擬折書辦傳進書房，口授《籲辭使俄》一折。