楊乃武出獄之後，與親人相聚，又悲又喜，宛如隔世重逢。他雖然已是雙踝腫爛，遍體鱗傷，但仍同楊詹氏乘車遍叩曾在此案中對他有幫助的人。但浙江京官，雖大多數人都曾插手此案，其意並不在楊乃武。既然得了便宜，不願意再過招搖，所以很多人都是婉拒不見。
楊乃武打了三年官司用盡了家產，一貧如洗，家徒四壁，被革去的舉人功名也沒有恢復，更沒有得到一絲一毫賠償。就連楊乃武全家返回家鄉的路費，還是靠了楊詹氏拿胡雪巖的書信找到北京阜康分號檔手得到的資助。楊乃武回到家鄉後，直養了一年刑傷方才痊癒。
平反這一年，楊乃武36歲。經歷了三年多的牢獄之災、各種刑罰殘忍折磨以及長久的精神壓力，楊乃武雖死裡逃生，家人團聚，但受此打擊，痛定思痛，性格大變，極怕招惹事端。由於他名聲太盛，找他來寫狀子的人比以前更多了。楊乃武實在無法推託，家境又十分困難，希望藉此得些補貼。便想出了把狀子寫在水牌上，別人抄好後擦除的方法；或用沙泥鋪地，執棍棒在沙泥上寫狀詞，再由別人繕抄入紙，不留筆跡，以免再遭橫禍。
楊乃武養好傷後，還到上海去拜訪《申報》編輯人員，對他們仗義執言表示感謝。 《申報》的英國老闆美查，知道他文采出眾，又成了公眾人物，便挽留他在《申報》擔任主筆。楊乃武感恩圖報，欣然從命。但只作了一個多月，就因一篇文章得罪了出使英法二國大臣郭嵩燾。郭嵩燾見報勃然大怒，一面從英國請了一位著名的律師，專程趕往上海，要與《申報》打官司；一面催責上海道要報館交出編輯和作者。楊乃武一聽如驚弓之鳥，當天便辭別《申報》逃回餘杭。後來在餘杭縣對任何人都未提起過自己曾在《申報》任職的事，就是自己的家人也未告訴。
楊乃武祖上以種桑養蠶為業，因受官司家產蕩盡，又心灰意冷絕了做功名的心，他便在親戚朋友的幫助下贖回幾畝桑地，以養蠶種桑為生，專心研究孵育蠶種。餘杭盛產絲棉，行銷全國。楊家本來就是世代養蠶，對育種有一定經驗。過了三年，楊乃武所育蠶種名氣就傳開了，遠近都來購買，日子也漸漸好轉。楊乃武家的蠶種牌記是“風參牡丹，楊乃武記”。凡是楊家出賣的蠶種，都蓋上了這個牌記。因為這種“鳳參牡丹”蠶種的孵化率高、抗疫性強，所以名揚杭嘉湖平原。直到今天，該蠶種仍為業內人士所稱道。
楊乃武認為自己畏刑亂供，攀咬錢寶生在先，錢寶生後來做偽證是不得已而為之。所以對錢寶生懷有愧疚之心，後來找機會還給“愛仁堂”藥舖寫了一副對子以表歉意。該對聯上聯是：名場利場，即是戲場，做得出滿天富貴。下聯爲：寒藥熱藥，無非良藥，醫不盡遍地炎涼。橫批：鏡花水月。
對於小白菜誣攀他，楊乃武多次對家人道：“畢秀姑屈打成招，逼於酷刑，不能怪她。”據有關人士考證，楊乃武曾到小白菜出家的“準提庵”去過一次，雙方深感內疚。多年後，小白菜用黃表紙留下一段由她口述、妙真執筆的遺言，聲明“楊二爺蒙受天大不白之冤”，“均我所害”，“二爺之恩，今生今世無法報答，只有來生再報。我與二爺之間絕無半點私情，純屬清白。後人如有懷疑，可憑此字條作證”。
楊乃武就是這樣安靜地度過了自己的後半生。直到民國三年（1914年），楊乃武后頸部患瘡疽之症，醫治無效去世，終年七十四虛歲。葬於餘杭鎮西門白虎山新廟前。據說楊乃武生前鑽研陰陽術，墓地是他自己選定的。