1920年7月21日，直奉兩軍開入北京城，入城的頭一件事便是對安福系成員懸賞緝拿。當天下午，段公館遭到包圍，段祺瑞的衛隊被繳械遣散，僅留下二十名看門管事的家人。段祺瑞一時羞憤莫名，拔出手槍就要自殺，幸被家人奪下手槍，才未自殺成功。
此後，段祺瑞不逃不走，坐在家裡靜候直奉兩軍對他的處置，而且從早到晚一言不發，無論誰跟他說話，均以搖頭作答。
7月下旬，徐世昌先是撤銷對曹錕、吳佩孚的處分令，接著批准免去了段祺瑞邊防督辦等本兼各職。段祺瑞對此早有心理準備，讓他感到難以接受的是，徐世昌還發布了“安福系十禍首通緝令”，下令對徐樹錚、曾毓雋、段芝貴等十人予以懲辦和通緝。這是讓段祺瑞感到非常難堪的一件事，也意味著徐世昌完全背棄了他在戰爭結束前對段的承諾。
次年薑桂題去世，儘管這老爺子曾站在徐世昌一邊給過段祺瑞難堪，但段祺瑞仍以老友身份前去弔喪。在乘車去姜宅的途中，他忽然長嘆一聲，對同車的曾毓雋感慨地說：“薑桂題死了，我應當去揮淚哭老友。可是徐菊人（徐世昌號菊人）如果萬一有這麼一天，我恐怕沒有眼淚哭他。”後來有一次，他更對人說道：“菊人的人品實不足道，他要是死了，我連輓聯都不會送！”
段祺瑞過去很少開口講感情色彩如此濃厚的話，即便在與馮國璋鬧矛盾時也是如此，足見他對徐世昌上台後的所作所為有多麼痛心疾首。
“十禍首通緝令”發布的當天，北京城內的軍警、便衣就傾巢出動，在各城門、要道以及東交民巷的出入口設置崗哨，十個人的相片則貼得到處都是，相片旁邊還規定了多少不等，多至三萬、少則三千的拿獲賞格。徐樹錚排在“十禍首”的第一名，賞格也是最高的，一旦拿獲到案，即賞大洋三萬元，徐世昌、靳雲鵬及直奉係對他的仇視，可見一斑。
在通緝令發布之前，事先得到風聲的這十個人就已逃遁，其中除一人進入華俄道勝銀行外，其餘均向日本公使館要求政治避難，並先後被送進了日本公使館護衛隊兵營。他們都曾是政府要員，手頭不缺錢，進入日本兵營後，物質生活上並不差，曾毓雋和段芝貴還每人花三千元錢，在兵營裡蓋了一座樓房，段芝貴住樓上，曾毓雋住樓下。
唯一讓他們感到痛苦的就是不能自由出入。在他們進入日本兵營後，北京外交部即向日本公使館交涉引渡。日本公使館拒絕引渡，但在照會中答應將斷絕“禍首”的對外交往及一切政治活動。
“禍首”都是搞政治的，對一個政客而言，沒有什麼比限制從事政治活動更讓他們難受的了。徐樹錚首先表現出強烈不滿，認為這種在太陽旗下避難的生活將可能遙遙無期，形同軟禁一般，必須想辦法逃出去。
日本的民族特性之一是崇拜強者，哪怕這個強者曾是他們的對手，或戰勝過他們。徐樹錚曾在“莫負荒沙萬里行”的過程中，將駐庫倫的日軍逐出庫倫，可很多日本人恰恰對他的才乾和學問非常仰慕。日本天津駐屯軍司令部軍需部門有一個叫小野寺的尉官就是如此，他與“禍首”中的一個人認識，從這個人口中知道徐樹錚有出逃的意圖，便馬上讓對方將他引薦給徐樹錚，並自願全力相助。
在研究出逃計劃時，徐樹錚曾問曾毓雋：“你看這樣辦穩當嗎？”曾毓雋老實回答：有些冒險——誰都知道徐樹錚與北京現政府和直奉結怨之深，如果被抓到，別人尚可活命，他絕難倖免。
徐樹錚想了想說：“我們避居日本兵營，終非長久之計。過分的冒險固然不可，但為了家國事，一點不肯冒險也是不行的。我決定拼它一下！”
按照計劃，徐樹錚藏入了一隻大號柳條行李箱。小野寺在這只事先買好的行李箱裡墊了靠墊被褥，又在箱子上鑿了許多氣孔，上面用毛筆寫一行大字“大日本帝國陸軍用品”，藉以掩飾。
小野寺利用日本兵夜間換防的機會，帶著這只“隨身行李”，在當天夜間離開東交民巷，上了前往天津的列車。當時中國政府對外國人來往車站的行李是無權檢查的，小野寺因此一路暢通無阻。
徐樹錚在途中吃了不少苦頭，前後幾個小時蜷曲在箱子裡，手腳都麻木了。到天津時，他自己爬不出來，得好幾個人把他攙扶出來，又替他按摩揉捏了半天，才得以行動自如。
小野寺將徐樹錚偷運出兵營是他自己的行為，事前並未得到上級同意，為此他被調回國內，並受到革職處分。第二天，日本使館被迫以照會的方式，將徐樹錚已經逃亡的事實通知了中國政府。
徐樹錚是第一個逃離日本兵營的，其逃離過程也最為驚險和曲折。以後隨著政局發生變化，其他人也先後以各種方式離開北京，前往天津或上海的租界地。