北洋無可挽回地走向了衰弱，與此同時，南方的國民黨卻在孫中山去世後，迅速調整了內部關係，並藉助蘇聯的援助而得以壯大。初建的“黨軍”北伐軍和黃埔軍校讓人耳目一新，以至於許多有志於建功立業的青年都心嚮往之，連作為北洋後起力量的保定派（主要為保定軍校生）也紛紛脫離北洋，投奔南方。
段祺瑞之所以能夠在缺乏實力的前提下擔任臨時執政，靠的是北洋領袖的招牌，以及北洋內部殘存的那一點向心力，如今連整個北洋係都要崩潰了，誰還會在乎這個“手無寸鐵”的老頭子？
段幕的一群人希望尚存實力的派系能夠擁戴段祺瑞出山收拾殘局，但他們四處奔走，卻四處碰壁。就在感到一籌莫展的時候，有人向段的左右建議與遜帝溥儀合作，還說：“宣統皇帝是塊大招牌，合肥如能與他合作，號召力就比單干大得多了。”
段祺瑞一時昏了頭，竟然也聽信這些話，想和溥儀拉拉關係。由於溥儀仍自尊為皇帝，不肯枉駕段的寓所，而段祺瑞也不願降低身份，主動去溥儀所居住的靜園，於是雙方就相約在溥儀的生父載灃家中見面。
段祺瑞是把溥儀作為一個可以合作的政治夥伴，但溥儀卻不這麼想，他還把自己看成是大清皇帝，而段祺瑞只是當年那個湖廣總督，所以見面時態度十分傲慢，氣氛也頗為尷尬，協商合作之事自然就更談不上了。
段祺瑞又羞又惱，告辭出來後對等候在側廳的手下說：“我總還當過中華民國元首，這小子竟在我面前擺皇帝的臭架子，真正豈有此理！”
作為“三造共和”的元勳，不僅悄悄地去見了遜帝，對方還不把他放在眼裡，這對段祺瑞來說是件非常丟臉的事。曾毓雋開始不知道這件事，後來消息傳到他耳朵裡，就趁旁邊沒有外人的時候，問段祺瑞：“聽說在不久之前，老總和溥儀見了面，有這麼一回事嗎？”
段祺瑞經此一問，臉上立刻露出了驚訝的表情，接著便很不耐煩地說：“糟得很，糟得很，不要談了！”
看到段祺瑞那躲躲閃閃、左顧右盼的神態，曾毓雋也就不再追問下去了。
其實即便溥儀不擺架子，他與段祺瑞也不可能合作成功。原因就在於二人的目標並不一致。曾毓雋與溥儀的師傅陳寶琛既是同鄉又是世交，往來比較密切。陳寶琛有一次對曾毓雋說：“希望你能在段祺瑞身邊為遜皇盡一份力量，從中斡旋。能合作更好，不能合作，希望芝泉（段祺瑞）不要反對。”
曾毓雋深知段祺瑞之心，他當時就回答陳寶琛：“段一向主張共和，若要求他和遜皇搞復辟，段生性剛愎，這一點我想很難在他面前說得通。”
漸漸地，段祺瑞終於明白復出已完全無望，只得繼續過他的寓公生活。與當時住在天津的其他前清、北洋遺老顯貴們不同，段祺瑞一生不事斂財生利，閒居時間一長，經濟狀況便日見窘迫。段祺瑞不得不親自審查賬目，以想辦法節約開支。
為減少日常開銷，他連麻將都不打了，僕人也減到了最少。幸虧魏宗瀚邀約一些當年的老兵，自願輪流前來幫忙打雜，段宅才不至於弄到黃葉滿階無人掃的地步。
政壇失意，家境冷落，固然讓老爺子心情鬱鬱，但最令他傷心和難過的，恐怕還是眼看著北洋一步步地走向歷史的盡頭，而自己卻無能為力——1928年，北伐軍攻入北京，由南方發動的新一輪“武力統一”取得勝利，曾經盛極一時的北洋時代終告謝幕。
就在諸事不順之際，突然有人給段祺瑞寄來了一封信。信是以一個學生的口吻寫的：“老師可記得送入日本士官學校的學生中，有一個蔣志清否？那就是我……”
段祺瑞當年在保定籌辦軍校時，確曾選送學生去日本學軍事，但他的學生那麼多，哪裡還記得一個“蔣志清”？再看下去，才知道“蔣志清”原來就是寫信人、現任北伐軍總司令蔣介石。
想到自己培養出來的後輩居然成了新政權的領軍人物，而且在得以大紅大紫後仍不忘其師，這令段祺瑞大為欣喜，以後常對人說：“蔣介石是我學生。”