1928年秋，蔣介石第一次到北平（即北京）。當時段祺瑞的侄子段宏綱居住在北平，且與蔣介石的幕僚吳忠信認識。經吳忠信介紹和陪同，蔣介石與段宏綱相約在北京飯店見了面。
一見面，蔣介石就對段宏綱說：“我亦保定陸軍學堂學生，段先生是我的老師。”接著便詢問了段祺瑞的起居生活情況。
隨後，蔣介石對吳忠信說：“我因公務繁忙，不能前往天津看望段先生，請你代表我去。”當天下午，在段宏綱的陪同下，吳忠信到津謁見段祺瑞。
返回北平後，吳忠信向蔣介石進行了報告。得知段家生活確很困難，蔣介石馬上讓人給段祺瑞送去兩萬元。在以後的三四年內，他還向段祺瑞贈送過幾萬元生活費，段家的生活問題遂得到了解決。
蔣介石此舉，既是念及往日的師生情，同時也有加強政治聯絡的考慮。因為此時蔣介石和國民黨在北方的政治力量還比較薄弱，亟須藉助段祺瑞在北洋的聲望來鞏固自己的權力地位。
惦記著段祺瑞的，不光有他的學生，還有蠢蠢欲動的日本人。 1931年，日本通過九一八事變侵占東北。懾於國際輿論，他們不敢明目張膽地直接對東北進行統治，於是就想在中國的政治舞台上尋找到適當的人選做傀儡。
日本老牌特務土肥原為此在天津積極活動，準備在溥儀和段祺瑞二人中擇其一出關組織政府。段祺瑞能夠進入土肥原的視線，當然是因為他在北方的影響力以及過去執政時“親日”的歷史，但段祺瑞“親日”有個前提，那就是得從中國的國家利益出發，與之相悖的事他是堅決不願做的。
在接受天津《大公報》的記者採訪時，段祺瑞說：“盜已入室，但亦未必即據為己有，只有給他些東西，讓我們自己收回來再說。”他要表達的意思很明白，即他可以在東北另外成立一個與南京政府對立的政府，也可以答應日本的一些要求，但絕不同意把東北從中國分裂出去。
段祺瑞的態度讓土肥原深感這老頭不好糊弄，即便到了關外，也未必肯俯首聽命，到那時弄巧成拙，反而對日本不利。這樣他只好把溥儀拉到大連，並於1932年3月成立了偽滿洲國。
1933年年初，日軍先攻榆關，再攻熱河。東北軍不戰而潰，戰火燒向長城一線。日本外務省次官吉田茂奉日本政界元老西園寺之命，來天津找到曹汝霖，要他請段祺瑞出面，與西園寺一道，以中日在野元老的身份共同“調停”斡旋，商定中日兩軍“就地停戰”。
在曹汝霖的陪同下，吉田茂拜見了段祺瑞。得知對方來意，段祺瑞當即明確答复，“調停”可以，但撇開東三省，“調停”就無從談起。 “我們在野之人出來調停，說話要有根據，當局若問到東三省，將如何答复？我看單從就地停戰作為調停，恐怕沒有這樣簡單。”
他認為：“現在中國軍隊氣焰之高，不下於關東軍。若說停戰，應由日本先停，因為這次是日本先開戰的。”
這樣的要求顯然不可能為日方所接受。吉田茂見話不投機，很難再談下去，只得起身告辭。
送走吉田茂，曹汝霖忍不住抱怨道：“芝老，人家是真心希望和平的呀！況且當初支持你又不遺餘力。”
段祺瑞則猶有餘憤：“欺人太甚，是可忍，孰不可忍！”
日本一邊舉兵對關內發動進攻，一邊醞釀建立“華北國”，所選中的第一個人就是段祺瑞。王揖唐利欲熏心，在看望段祺瑞時，常常用含蓄的話進行試探，企圖勸段祺瑞出來為日本人做事。
蔣介石風聞後，不斷派民間人士和專使北上，請段祺瑞南下，並說明他如果繼續留在北方，恐為日本人所利用。經過南方代表這麼一講，段祺瑞才明白王揖唐的用意，於是便準備動身去上海。
王揖唐知道後急忙前來勸阻，而且話語漸漸露骨，說段的事業都在北方才能取得成功，雖然現在家裡窮，將來總有機會出頭，千萬不要南下。段祺瑞對此很不滿意，對家人說：“王揖唐不懷好意，我要教訓他。”
等王揖唐再來，段祺瑞就直言不諱地對他說：“我是中國人，決不做漢奸傀儡，就是你自己也應該好好想想，不要對不起祖先、父母和子孫後代。我決計到南方去，以後不要再來多說了。”
除王揖唐外，段宏業等少數人也曾對南下持有異議，段宏業甚至為此和吳光新拍了桌子，但段祺瑞一言裁決：華北局面愈來愈複雜，我離開這個旋渦乃是上策。
1933年1月21日凌晨，段祺瑞乘專車離開了天津站。這位自稱“吾老矣，無能為”的老人在告別北方的這一刻，也為自己過往的政治生涯畫上了一個足以自豪的句點。