可是，下邳城的曹豹，卻在這時蠢蠢欲動。曹豹本為陶謙手下資格最老的部屬，當時陶謙以劉備為繼承人，曹豹便非常不滿了。只是由於當時大多數的郡縣軍團領袖及下邳城官員都支持劉備，曹豹一時孤掌難鳴，也只好表面順從。
但是曹豹對劉備的不滿卻是與日俱增，絕不因為時間的過去而有所淡忘，相反卻愈益激烈了。這下遇到了袁術軍團攻打徐州，曹豹那深心的不滿便再也控制不住了，公然鼓動徐州舊臣，批評劉備統治之無能，並反對劉備和袁術公開對抗的政策。
曹豹的所作所為當然被張飛察覺，因為這時張飛正在下邳防守。張飛一向根本看不起曹豹，認為他無德也無才，反倒以陶謙老部屬自居。這次又是他乘機煽動，便十分生氣，認為這個人留著絕對是禍根。於是，便未和僚屬們商量，自作主張，私下率領侍從隊，突擊曹豹府邸。曹豹不防，並也無力對抗張飛，便只得俯首就擒。但張飛絕不將他交給劉備，當場就將其誅殺。
顯然張飛的行動過分莽撞，其引起的反響和震動是十分巨大的。下邳城的官員們無不驚懼萬分。於是，曹豹的支持者們便公開擁兵和張飛對抗。下邳頓時陷入一片混亂中。
袁術得到下邳城動亂的消息，認為是個機會，便派人秘密聯絡呂布，勸他趁機襲擊下邳城。如果呂布答應這樣做，他袁術就供給呂布軍隊大量糧食。呂布被劉備冷落在小沛，本來就有些不高興，整天壯志未酬鬱鬱不樂的樣子。後來得知袁術和劉備交戰，接著下邳城又處於動亂之中，心裡就止不住有些癢癢。恰好袁術派人來聯絡他，呂布焉有不動之理?
於是，呂布立即率部從小沛下東南渡河，直接攻打下邳。原曹豹陣營的中郎將許耽，見呂布來攻，悄悄開門迎接。呂布殺進城來，徐州舊臣幾乎都背叛張飛。張飛處於群攻之下，只好乘亂逃離下邳城。
劉備的妻子恰好住在下邳，便被呂布擒獲，同時擒獲的還有劉備的直屬將官多人。但是呂布對他們並不加害，反而加以保護，並以禮相待，不敢怠慢疏忽。
劉備忽聽下邳出事，又氣又急，便立即率部回軍。但是，後有袁術，前有呂布，軍中將士親屬又大多淪陷於下邳，掌握在呂布手裡。因此，將士無心戀戰，軍隊到達下邳城下竟不戰自潰。呂布知道這些將士鑑於親屬關係，不願硬拼，所以十分得意。
而劉備由於將士潰散，只好收拾殘兵，奪取廣陵。誰知，又遭逢袁術主力軍。劉備此時已喪失戰鬥力了，只好再退到海西屯駐。
由於事情都來得太突然，劉備根本毫無準備，當退居到海西時，軍中糧草幾乎用盡，全軍陷入了嚴重的飢荒之中，甚至發生了爭食餓死者屍體的慘劇。後來，全靠徐州首席長老麋竺散盡家財，各處收來糧食，才勉強協助劉備度過了難關。
劉備見大勢已去，同時不忍心徐州陷入內戰，乃主動向呂布請降。呂布也看在劉備曾收留他的情分，並認為袁術野心太大，近乎瘋狂，終不可靠，絕非合夥對象。便欣然與劉備和談。
呂布給予劉備豫州刺史官銜，使之駐屯於小沛，協定互相聯合，共同對付袁術。而呂布自稱徐州牧，駐軍於下邳。
袁術完全沒料到呂布會又和劉備攪在一起，真是既失望，又生氣。於是發怒了，宣稱將對徐州發起總攻擊。
面對袁術的威脅，呂布又轉而向已經在許縣建立都城的曹操稱臣。如此一來，曹操反而沒有理由再出兵攻打徐州了。
其實，在這段時期間，曹操即使有心，也沒有力量窺視徐州。這時曹操正為兩件重要事情忙碌。其一是審慎計劃將漢獻帝接到許都，以推行他“奉戴天子”的大政略。另一件工作，則是對付屯兵豫州的張繡。
張繡是涼州武威郡祖厲縣人，漢末涼州大亂，張繡率領數千人，佔有祖厲縣。後來加入同族叔父輩的名將張濟的軍團。
張濟何許人也?他是董卓屬下的四大軍團將領之一，和李傕、郭汜齊名。張濟一貫治軍嚴謹，在涼州軍團中聲望最高。董卓死後，李傕及郭汜為爭奪關中控制權而發生內訌，因此，涼州軍團陷於潰散狀態。
張濟為此而心中不安，出面調和，但是李傕和郭汜各為自己的勢力，並不聽他的。張濟調和無望，只得搖頭嘆息，便率領少數直屬軍團離開關中，侵入荊州北部，試圖尋找新的地盤。
荊州牧劉表，當然不願讓張濟侵入，便派大軍阻擋，雙方一場混戰，張濟中流矢而亡。
張濟一死，張繡便以族子的正當身份繼續帶領張濟的軍團。
正在這時，涼州軍團的首席謀士賈詡，也因李傕、郭汜的內訌鬥爭而失望，便離開了關中，南下來尋找張濟。賈詡一向和張濟關係好，並在李傕和郭汜的內訌鬥爭上，也是見解一致，所以賈詡要南來投張濟。可是，賈詡到來之時，張濟已亡，賈詡便留在了張繡身邊。
阻擋張濟、張繡的荊州牧劉表也是一個特殊人物，此人作風甚為獨特。
當漢各州郡紛紛陷入戰爭中，各州郡領袖乘機努力擴充自己的武力及疆域時，劉表卻與眾不同，努力實行保守求安的“鎖國政策”。因此，在那麼長時間中，他除了和據守江南的孫氏軍團作過幾次正面對抗外，劉表似乎只努力於維持境內安定。他有效地控制荊州統轄的郡縣軍團，禁止他們參與諸侯間的鬥爭。