杜月笙在上海紅透半邊天，跑到香港來總歸是個“逃難的”，論交結官府，香港是英國人的天下，杜月笙自上至總督下至當差、警察，一點關係也拉不上。談幫會弟兄，杜月笙倒有一個。即青幫中人，後被稱為“香港杜月笙”、“夜總會皇帝”的李裁法。
他２８歲，到香港三四年間剛剛正在往上竄。李裁法自幼敬仰杜月笙，他一生一世都在想向杜月笙看齊，他在上海時曾拜在“通”字輩王妙紀的門下，而在新光大戲院擔任售票，他因新光戲院老闆夏連良的介紹，認識了杜月笙的結拜弟兄、“小八股黨”之一的芮慶榮。李裁法對芮慶榮這位大名鼎鼎的人物很尊敬，杜月笙抵港不久，芮慶榮不久跟著而來，李裁法便與芮慶榮異地重逢，同為一氣，間接也成為杜月笙在香港的一支力量。相反的，杜月笙等人到香港，青幫在港聲勢，自也為之一壯。
日本人在上海布下了天羅地網，結果還是被杜月笙從容不迫，“絕不化裝”而逃出，新憾加上了舊恨，他們便對杜門中人狠狠的報復，使得杜月笙在香港乾著急，心急如焚，於是，他又盡量設法讓他要緊的人多逃出來幾個。家人中是姚玉蘭先來，和他在九龍半島飯店閉室而居，長子杜維藩繼而趕到香港不久又回上海，沈月英離不了鴉片煙榻沒來，三樓孫夫人遠遠地去了英國，二樓陳夫人則只在他旅港時期來探過一次夫，視同掌珠的大小姐杜美如跟她母親姚玉蘭往返港滬之間好幾回，杜公館裡最能幹的大媳婦多一半時間留在華格臬路照料一切。
要好朋友來的是張驥先，跟北洋中人交情很深的吳家元，“小八股黨”的頭腦來了顧嘉棠、芮慶榮和葉焯山，杜公館秘書翁左青，後來加上徐采丞介紹的胡敘五。杜月笙分配工作，派翁左青管文電和賬房、胡敘五則專任記室，弟子裡面則召來了沈楚寶、林嘯谷、朱學範、郭蘭馨，還有一個要緊人物張子廉，杜月笙要叫他來從速建立洪門關係。
人馬一撥撥來，場面漸漸打開，開旅館長住房間，終究不是長久之計，於是杜月笙便派人找房子，作小住香港的打算。這香港杜公館便在姚玉蘭到港以後，設立於九龍柯土甸道１１３號到１１５號，雙開間門面，三層樓，恰好與上海華格泉路杜公館差不多。屋主是澳門煙賭大亨，素有“澳門杜月笙”之稱的高可寧，“澳門杜月笙”高可寧有的是鈔票，前些年他一口氣娶了兩位“名兒媳”，一個是葛蘭，一個是尤敏。
張驥先、吳家元、顧、芮、葉等人大家一道住在杜公館。
於１９３８年１月２０日，許世英自駐日大使任內下旗歸國，沒有尋到房子以前，便住在香港杜公館的三樓，居室和張驥先遙遙相對，閒來無事，他臨了八大幅王右軍的聖教序送給杜月笙，杜月笙很高興，懸在客廳的兩壁，往後江南名士，和於右任一齊辦過《民籲報》的前監察使楊千里也被杜月笙接到香港，杜月笙如果有什麼重要文稿、題詞題字，常常要藉重他的大手筆。楊千里曾集杜句，為杜月笙題了一副對聯，杜月笙便喜滋滋地掛在客廳中間，聯曰：
三顧頻煩天下計；
一生好做名山遊。
楊志雄和楊管北兩位智囊，由於上海方面事務很多，總是在滬港之間來回的跑，楊志雄去了上海，楊管北便留在香港，楊管北要走，楊志雄再來。在杜月笙的帶領下，秦待時、江倬雲、龐京周、毛和源等一般老朋友都接受了杜月笙的忠告，相繼避難香港，這幫人也是杜公館的常客。
這時，杜月笙擔任兩項職務，那是每天他都要做的事情，一個是“中國紅十字會總會”副會長，會長王正廷這時在菲律賓，一切業務全交給杜月笙，杜月笙又交給他的得意門生、“紅十字會”秘書郭蘭馨代拆代行，郭蘭馨便在杜公館三樓右首要一個房間，作為辦公室，長駐辦公。另一個業務是“賑濟委員會常務委員”，主管第９區的賄濟工作；這裡的日常行政事項，杜月笙派他另一得意門生林嘯谷負責主持，林嘯谷在樓下也要了一間房，每天過來辦事。因此，柯士道１１３到１１５號杜公館，裡面又設了“中國紅十字會總會”和“賑濟委員會”兩大機關。
賑濟委員會的對面，住的是芮慶榮和吳家元，後來葉焯山到了，芮慶榮的家眷不久也趕來，他搬到德承街去自立門戶，他的那間房便移交給葉焯山，葉焯山仍是在打光桿，這位百發百中的神槍將，一直在香港替杜月笙把頭一道關。顧嘉棠跟芮慶榮兩個，住是住在外頭，每天中午以前，一定會照往先早年的老規矩，準時準刻，到杜公館來向杜月笙哥報到。機密大事他們還是要杜月笙商議參詳。
杜月笙自己一家，不論來了多少人，都住在二樓。
無意間，杜公館仿效了曾國藩的會食製度，每天中午，開一桌飯，人多再加，家人父子，親戚朋友，老弟兄，師爺、秘書還有學徒子、徒孫們，談談說說，聚而食之。菜色不多，卻是極精，因為港滬之間多的是輪船、飛機往來，香港市場買不到的江南菜餚，川流不息送到杜公館，因而使這一幫流浪客減了思鄉之情，餐餐吃得朵頤大快。他們交換消息、商議事體，都在這一餐飯間，輕鬆愉快的進行。
１９３７年１２月１６日，中日大戰進行了５個多月，南京陷落兩天后的東京《朝日新聞》發表消息：“中國若願議和，日可停止戰爭。”但是，中國上下已經決心抗戰到底。因為中外人士都認為戰事雖然延長，但是日本必敗！
南京失陷，日本急想結束戰爭，他們授意德國駐華大使陶德曼向中國提出議和條件，與此同時，進攻蕪湖的日軍第６師團都已經奉令“凱旋”，日本兵歡聲雷動，紛紛將行裝搬回碼頭，結果是日本人議和條件被蔣介石斷然拒絕，於是日方惱羞成怒，１９３８年１月１６日由內閣總理近衛文麿發表聲明：
日本政府今後不以國民政府為談判對手，期望真能與日本提攜之“新政府”成立且發展，而擬與此“新政府”調整兩國國交。
日本致力於製造漢奸傀儡政權，以貫徹其“以華滅華、以華製華、以戰養戰”的政治陰謀。這是軍事進攻以外的另一毒辣險惡新攻勢。 １９３８年初，杜月笙經政府明令發表為“賑濟委員會第九區特派員。”同時，由已升任軍事委員會調查統計局副局長、而實際主持局務的戴笠撥給他一筆經費，請他多方設法，派人去把日本矚目的“漢奸”對象，自１９２６年段祺瑞垮台時分佈於平津京滬一帶做了寓公的皖係人物，亦即所謂安福派人，一一的接到香港地區。
杜月笙的這一使命其實並不簡單，因為安福也罷，皖係也好，段祺瑞手底下的人物多半親日。日方操縱漢奸組閣的一紙名單，其榜上有名的，不是跟日本人有公宜，便有私交，而且還個個交情很深。
因為１９２０年７月１４日爆發的直皖之戰，吳佩孚在短短４天之內把段祺瑞的皖系大軍打得土崩魚爛，風流雲散，那般安福要人困在北京，無路可逃，紛紛躲在往東交民巷和六國飯店，但是，英、美、法等各國領事開會決定拒絕庇護和容納他們。這時只有日本使館同意收容他們，這樣安福要人們才得以潛逃而脫險。如今，這一股人投置閒散了將近１２年，官癮又相當的大，雖然杜月笙有意營救他們南下，但是，他們自己的心中的願不願意，卻是誰也無法臆測。
於是，杜月笙派吳家元和李擇一，還有朋友朱秀峰與陳蘭，穿梭不停地往來於港滬、港津道上，分別拜訪，再三致意，拍胸保證，秘密安排，居然在敵偽特務嚴密監視檢查之下，從虎口中搶救出來大部分列名漢奸榜的偽朝新貴，使日方費盡心血，威逼利誘擺出來的偽政府“堂堂陣容”，被杜月笙“拉角”拉得台柱盡折，慘不忍睹，只剩下小貓三、兩隻。
在這一段時期，經杜月笙之手接出來的日方目標，大名鼎鼎的就有段祺瑞的司法總長章土釗、交通總長曾毓雋、財政總長賀德霖、外交總長顏惠慶、陸軍總長吳光新、臨時參政院副議長湯漪，這許多顯赫一時的北洋皖系大佬，抵達香港之初，大部住在杜月笙的家裡，詩酒留連，日夕盤梗，再加上半個東道主、曾經當過段祺瑞任臨時執政的北京政府第２８任國務總理許世英，內閣十大閣員到了六、七個，香港杜公館開出一桌飯，儼然是段祺瑞內閣復活了。