關稅會議的召開，令段祺瑞大為振奮，但是正如曾毓雋所言，與外交及加稅相比，裁厘和解決國內糾紛才是真正讓人頭疼的難題。
在當時國內的政治版圖上，雖然南北方的軍政實力已呈現出明顯的彼長此消之狀，但國民黨人還未能佔據政治中心位置，加之民眾有著尊崇正統的心理，作為段祺瑞執政基礎的北洋系仍是解決中國政治問題的重心所在，即所謂“北洋為世所重，民黨為俗所輕”。
如果北洋足夠團結，其實佔據兩廣的國民黨和僻處西南一隅的滇唐蜀劉都不難對付。問題就在於北洋早已四分五裂，幾次政治摩擦和軍事衝突，說來說去削弱的都是北洋自身實力，特別是第二次直奉戰爭的爆發，對北洋內部而言可謂大傷元氣。
站在執政的位置上，段祺瑞不可能有“杯碎時由我全之”的自由和從容，他要確保“杯暫不碎”，便只能使出渾身解數，盡力對北洋系進行整合。具體來說就是取消“安福系”，以“天下共主”的身份來平衡各派勢力，避免北洋內部繼續發生衝突。
各派之中，最感棘手的自然還是如何擺平馮玉祥和張作霖。作為當時最有實力的兩個北洋派別，馮、奉兩派不僅均力圖左右中央政治，而且彼此之間矛盾尖銳——馮玉祥鄙視張作霖是“鬍子”，張作霖則認定馮玉祥是個有野心、難相處的呂布之徒，雙方爭來奪去，互不相讓。
如何對待馮、奉兩派，段幕有兩種截然不同的意見，而且也分成涇渭分明的兩個派別，即所謂的“國舅派”和“太子派”。
“國舅”吳光新是段祺瑞的內弟，段公館的家人稱他為“吳小舅子”。 “吳小舅子”性格蠻橫、脾氣大是有名的，嘴裡經常不干不淨，罵罵咧咧。俗話說，外甥多似舅，段宏業的脾氣也很臭，家人們常說段宏業“跟他舅舅似的”。
段宏業是吳光新唯一的嫡親外甥，可是說來也怪，舅老爺和大少爺的感情卻極其惡劣，一對壞脾氣更是針尖對麥芒，往往戳在那裡互不相讓，最後簡直形同水火，二人見了面連話都不說。
段祺瑞雖然早年對段宏業這個寶貝兒子深惡痛絕，一向不給好臉色看，但年紀大了以後，不免也產生了常人的舐犢之情，隱隱然已視段宏業為自己的接班人。自天津籌備入京起，他授命段宏業在段幕中負起責任，便有加以培養之意。
被欽定為“太子”的段宏業也漸漸變得跋扈起來。在段幕內，一般人都稱他為“大爺”，一般公事都要先向“大爺”請示，“大爺”同意之後，才能請示“執政”。
一位舅老爺，一位大爺，都是段祺瑞的至親，手中都握有一定權力，偏偏又水火不容，於是段幕人員也無形中分成兩派：一派以吳光新出面，稱為“國舅派”，主張拉緊張作霖，打擊馮玉祥；另一派擁護段宏業，稱為“太子派”，主張聯絡馮玉祥，抑制張作霖。
兩派都主張靠攏一方，排斥另一方，彼此觀點極端對立，經常一見面就吵。有人覺得這種現像不太好，就請執政拿個主意，但段祺瑞卻聽之任之，對哪一派都不支持、不反對、不干涉。
段祺瑞自己對張作霖、馮玉祥的態度也很微妙。在張、馮之間，段祺瑞和張作霖的私人交情要更好一些。有一次，段宏業向他請示，說張學良要同他拜把子，結為盟兄弟，應如何回复。段祺瑞說：“他的兵可以同你拜把子，他的兒子卻不能同你拜把子。”
段祺瑞極重尊卑長幼之分，他自認比張作霖及其部下要大一輩，所以才讓小兒女稱張作霖為“張大哥”。按照他的觀念，段宏業應與張作霖同輩，比張學良又大一輩，是不能拜把子的。不管段宏業在回复張學良時如何措辭，都有些傷感情，張家父子的臉色也極可能不太好看。有人分析，這與段宏業後來主張抑制張作霖不無關係。
換個角度想想，老段雖講原則，但絕非食古不化，何況如果段宏業和張學良真的拜了把子，也不至於就會引起什麼閒話，這只能說明段祺瑞對與張家距離過近本身就存在顧慮。
實際上，段祺瑞採取的是一種“平衡木”的辦法——奉軍實力最強，所以不能無馮，否則無以製張；國民軍控制著京漢線，所以又不能無張，否則馮將無法駕馭，並對自己構成威脅。
倘若像“國舅派”或“太子派”所主張的那樣，完全傾向於馮、張中的任何一方，則段祺瑞所苦心維持的這種平衡勢必就要被打破，那對執政府而言可不是什麼好事。段祺瑞深知其中玄機，所以他才會站在“不偏不倚”的立場之上，有意無意地利用“國舅派”、“太子派”達成目的，即以“國舅派”拉張，以“太子派”拉馮。
玩“平衡木”並不輕鬆，執政不到兩個月，就有人拿段祺瑞與徐世昌對比，稱他“已入十年東海境地”。馮玉祥曾在日記中寫道：“段公上台對軍事不敢以命令式指揮……凡事均不好辦。”連張作霖也譏諷段祺瑞的處境是“北京烤鴨”，兩面受到煙熏火炙。
好在段祺瑞政治經驗豐富，即便在如此艱難的處境之下，他仍得以把北洋各派放入自己的棋盤，並利用它們之間的矛盾進行製衡，從而促成或維持了各派的“均勢”——甚至於長江、西南都成為段祺瑞的砝碼，被他用來搞政治平衡。
一名奉軍將領這樣解釋段祺瑞何以能做到這一點：“段以北洋元老的資格，對於北洋軍閥，無論哪一個，雖然都吸不住，卻都罩得下。”所謂“吸不住”，自然是指段祺瑞缺乏派系實力，無法隨心所欲地指揮調度各路兵馬。所謂“罩得下”，是說在北洋這個圈子裡，無論自居北洋正統的長江直系、從直系中分離出的馮玉祥，抑或力量強大但非北洋嫡系的奉張，還是向被視為“北洋遠親”的西南諸侯，暫時都只能接受段祺瑞，或至少是口頭擁段。