1935年1月9日，紅軍總司令部和紅軍領導人先後到達遵義城。遵義位於雲貴高原的東北部，是黔北重鎮，貴州的第二大城市，僅次於省城貴陽。這天一直下著雨，但是也不妨礙紅軍舉行隆重的入城儀式。戰士們滿身泥污，停在城外洗臉洗手，高唱軍歌《三大紀律八項注意》進城。歌詞是朱、毛為部隊制定的行動準則：說話要和氣，借老百姓東西要還，行動聽從指揮，不損壞莊稼……當時國民黨中央軍和各個地方軍閥，沒有任何一支軍隊像紅軍這樣擁有嚴明的紀律。遵義城的百姓站在街道兩旁，擺著煙、茶、酒、糕點，敲鑼鼓、放鞭炮迎接紅軍。
紅軍進入貴州前，守衛貴州的只有王家烈的四個師，都是些雙槍兵，戰鬥力不強。可就在毛澤東他們進入遵義的當天，國民黨中央軍周渾元和吳奇偉率兵接管了貴陽。蔣介石在重慶坐鎮指揮，調動了湘軍、川軍和滇軍的一些部隊，大約40萬人，準備圍攻紅軍的3萬多人。
到達遵義後，紅軍才發現在這個地區建立蘇區的設想（黎平會議作出的決定）根本行不通。敵軍越聚越多，遵義的地理位置對紅軍也十分不利，它三面環水，東邊是烏江黔江，西面是赤水，北邊則是滾滾長江，西南方留有一個缺口——但極容易被敵人封死。而且遵義地區經濟落後，雖盛產鴉片，供應軍隊的糧食卻成了大問題。如果在此地建立根據地，紅軍很快就會被國民黨軍隊全部消滅。
根據黎平會議的建議，紅軍決定在遵義召開一次政治局擴大會議，主要目的是討論第五次反“圍剿”失敗和轉移以來軍事失利的原因，解決軍事領導權的問題，再決定下一步應當採取怎樣的策略和行動。自從紅軍開始長征以來，一直沒有喘息的機會，也沒有時間認真檢討所犯的錯誤，召開一次重大的會議迫在眉睫。
會議在遵義城最好的洋房裡舉行。這幢漂亮的房子是黔軍第二師師長柏章輝的公館，新建還不到兩年。柏章輝像大多數軍閥一樣，經營著家族產業，他和自己的幾個兄弟從事商業和銀行業，在當地頗有名望。他的房子結合了中國傳統建築和西方建築的一些風格，屋頂有飛簷，帶有寬闊的遊廊。房子旁邊還有一棵大槐樹。當時，周恩來和鄧穎超被安排住在這幢舒服的房子裡，鄧穎超記得自己曾站在二樓陽台上摘槐樹葉子。其他的一些領導人，朱德和康克清、彭德懷、劉少奇也住在這兒。毛澤東則和王稼祥、洛甫住在另外一處軍閥的房子裡，正是他們幾個一路上在擔架上的“密謀”，促使了遵義會議的勝利召開。
接連數日，周恩來忙著準備會議上的軍事報告書，每天3個小時的睡眠時間都得不到保證。他和共產國際代表李德之間產生的原則性分歧，使得兩人冷面相向。在通道會議上，周恩來已經對李德生搬硬套的軍事指揮表示強烈的不滿。對於軍事領導權和軍事策略問題，紅軍領導層內部分化成兩個不同的陣營。李德、博古還有凱豐（何克全）依舊堅持自己的錯誤看法，並且凱豐試圖說服聶榮臻支持他們，但沒有成功。毛澤東則獲得了王稼祥、洛甫的有力支持。 ——周恩來也已完全傾向於毛澤東等人，他知道自己將在會上作的軍事報告，是個非常敏感的問題。這些天來，他冷靜思考著紅軍過去所犯的錯誤，試圖去理清錯誤的根源，並且找到解決的辦法。他的報告，塗塗改改，一遍遍斟酌了數次……
1935年1月15日，晚上7點鐘，遵義會議在柏章輝公館內一間大屋子裡舉行。屋子裡陳設簡單，中間是一張破舊的方桌，擺著一圈椅子。天氣寒冷，桌子底下放著一個生著炭火的小鐵爐。到會的有20人，參加會議的，不僅有政治局委員，還包括全體軍事領導人，各軍團的軍團長和政委。
王稼祥和聶榮臻是被擔架抬著參加會議的。聶榮臻的腳在湘江戰役中受了傷，未得到及時治療，進入貴州後開始化膿，正在療養。王稼祥的傷由來已久，早在1933年4月第四次反“圍剿”的時候，他被彈片擊中了腹部。因為醫療條件極差，8個小時的手術也沒能縫合他的傷口，只好塞進一根橡皮管救命。但是傷口經常發炎，引起高燒不退，常常需要服用嗎啡止痛。直到1936年，王稼祥到莫斯科治療，他的病才被徹底治愈。鄧小平也參加了會議，他當時擔任《紅星報》的主編，以中央書記處秘書長的身份為會議作記錄。李德作為列席代表參加會議，伍修權擔任他的翻譯。
會議由博古主持，他是中央書記處書記，第一個發言。
他談到了蔣介石的第五次“圍剿”，客觀分析了當時的軍事形勢，批評了自己在軍事路線上的錯誤。但他把紅軍的軍事失敗歸咎於國民黨兵力的強大和中央蘇區以外紅軍配合的不力。他試圖為錯誤辯護。
周恩來的軍事報告經過幾天深思熟慮的準備，他發言的時候，嚴肅地承認對付敵人的策略不對，不該放棄紅軍游擊戰的傳統，轉而打陣地戰——這是造成第五次反“圍剿”失敗的根本原因。他態度坦率而誠懇，願意承擔錯誤軍事指揮造成的嚴重後果，儘管後果已經無法彌補。
周恩來的發言，讓李德感到不安。遵義會議從醞釀到召開，李德就已經被排除在外了。會議一開始，他的處境便很狼狽。別人圍著長桌坐著，李德卻坐在會議室的門口，伍修權形容他“完全是個處在被告席上的受審者”。李德一邊聽著發言，一邊不斷地抽煙，神情十分沮喪。他認為周恩來在發言的過程中，已經使自己同他和博古保持了一定距離。
周恩來作完報告之後，張聞天作了反對“左”傾軍事路線的報告。他作報告時依據的提綱，實際上是毛澤東、王稼祥和他三個人一路上在擔架上達成的共識（前文裡，我們把這種共識，稱為擔架上的“陰謀”）。
毛澤東是緊接著張聞天發言的。通常，他總是先聽聽別人的意見，再作一個總結性的結論。但這次他一反常態，首先講了話。他大約講了一個多小時，比起其他人的發言，他的算得上是宏篇大論了。
他把矛頭尖銳地指向了博古和李德。在第五次反“圍剿”中，李德“短促突擊”的戰術取代了紅軍實用的運動戰（毛澤東曾經總結過十六字要訣：敵進我退，敵駐我擾，敵疲我打，敵退我追），在他的指揮下，紅軍不顧軍事實力的差異，跟蔣介石拼陣地拼消耗，結果一敗塗地。前四次反“圍剿”，紅軍在運動戰中尋找戰機，同數倍於自己的國民黨軍隊作戰都取得了勝利，而第五次反“圍剿”，錯誤戰術致使紅軍必須放棄中央蘇區大轉移。所以，紅軍的第五次反“圍剿”失敗的原因，不是博古所說的軍隊數量的問題，而是戰術問題。 ——毛澤東提出，紅軍首先要解決的是軍事路線問題。博古和李德犯了“防禦時的保守主義”、“進攻時的冒險主義”和“轉移時的逃跑主義”的錯誤。李德的指揮，一味紙上談兵：不考慮士兵要走路、吃飯和睡覺，也不問走平路還是山路，地形是平原還是河流，攤開地圖，用鉛筆一畫（李德因此被諷稱為“靠鉛筆指揮的戰略家”），在限定的時間內，必須打好這一仗。 ——這樣打仗，當然是打不好的。
毛澤東還猛烈抨擊了在蘇區紅軍未能和十九路軍聯合的事情，紅軍因此失去了一個獲得同盟軍的大好機會。如果紅軍能利用這個機會，能夠繞到敵人背後迂迴進攻，迫使敵人回援，減輕中央蘇區的壓力。周恩來、洛甫和他都曾經主張聯合十九路軍作戰。
毛澤東的講話贏得了大家的熱烈掌聲。他說出了很多指揮員的心聲，中國土地上的問題，必須由中國人自己解決，不需要外國人的瞎指揮。
伍修權回憶，張聞天在第五次反“圍剿”的時候，就對他說過“李德這樣指揮怎麼行？”“這樣能打勝仗嗎？”一類的反對意見，引起了博古的不滿。博古指責張聞天的態度同普列漢諾夫對待1905年俄國革命一樣。張聞天不服，便和博古吵了起來。李德便來勸架，說這裡的事情要由他們這些從莫斯科回來的人辦，他們不能起內部摩擦。張聞天雖然和博古一樣從莫斯科中山大學畢業，但他卻不像博古那樣唯命是從，他認為中國的事情不能完全聽李德的，要有自己的主張。後來，張聞天和王稼祥（1925年，王和張同船赴蘇聯留學）都全力支持毛澤東，在遵義會議上更是如此。繼毛澤東發言後，王稼祥第一個挺身而出發言支持毛澤東。王稼祥在會議上明確地說，博古和李德必須讓位，由毛澤東來指揮紅軍。
李德一再為自己辯護，他只是共產國際的一名顧問，只是為中國革命提供意見。現在事情搞砸了，是中國同志自己搞壞的，而不是他。李德一直不承認任何錯誤，在他後來寫的回憶錄中，態度依舊如此。李德一個外國人，為什麼會在一段時間內，取得對中國紅色革命的絕對領導權？這是值得我們深思的一個重要問題，但不管如何，遵義會議召開後，李德的指揮權便被徹底解除了。實際上，湘江戰役的慘敗，就已經宣告了李德、博古在黨內錯誤領導的結束。
遵義會議接連開了三天，因為要討論的事情太多，也太有必要。一般都是晚上7點開始，每次四五個小時，不時有警衛員進來倒茶換水。與會人員的言辭越來越激烈，越來越多的人站到毛澤東這邊，也漸漸理出了紅軍下一步行動的頭緒來。
聶榮臻和劉伯承建議紅軍應當打過長江，在川西北建立新的根據地。四川的條件比貴州好，素有天府之國的美譽。交通比貴州便利，人口較多，川軍和國民黨中央軍矛盾較大，紅軍可以適當地利用這一矛盾……這一建議得到了大部分人的支持。雖然毛澤東並不主張北渡長江（他主張建立川黔邊根據地），但他服從了會議的決定。當時擔任紅五軍團參謀長的陳伯鈞後來回憶道，毛澤東對自己在會上的處境打了一個比喻，“遵義會議是藉了別人的碼頭打仗的”。
最後，周恩來建議停止博古、李德和他組成的“三人團”的工作，這個建議得到一致通過。紅軍的軍事指揮由朱德和周恩來共同擔當。毛澤東當選為政治局常務委員會委員。常委內部決定再分工，如何分工，會上沒有深入討論下去。
遵義會議上，毛澤東沒有被指派擔任軍事指揮，但他能夠建議和參與軍事決策，不再被排除在紅軍高級領導層之外。伍修權對當時紅軍的領導問題作了一個相當有趣的評價：在毛澤東同志的思想指導和周恩來同志的具體指揮下。但是毛澤東親自掌舵紅軍，是遲早的事情。
李德被撤銷中央的軍事顧問職權後，主動要求和林彪的紅一軍團一起行動。 ——據說是李德欣賞林彪的軍事才能，儘管他和林彪以前接觸得併不多。林彪給他很好的待遇，但李德此時的情緒已經很不好。
蔣介石直到2月間才得到遵義會議召開的消息，老對手毛澤東的複出，對蔣介石來說並不是好消息。從此以後，國民黨軍閥和紅軍之間，將進行一場更加曲折複雜的“貓捉老鼠”的遊戲。