陳伯達的處境越來越糟糕。他不光接連受到毛澤東的批評，在“中央文革小組”內部，又不斷受到江青的排擠。在陳伯達晚年，曾對他與江青在“中央文革小組”中的尖銳矛盾，作了回憶。陳伯達說，江青在“中央文革小組”實行“獨裁”：“中央文革小組”如開會，江青總是繼續瞎想瞎說，並且說了就算，跟她不能討論什麼事。這種會開下去，只能使她可以利用小組名義，把小組當作她獨立的領地，繼續“獨裁”，胡作非為。
我認為自己應該做的，是學習，是到一些學校、工廠或一些居民地點，看看談談。根據毛主席規定的“要文鬥，不要武鬥”的方針和中央的決定，只要我知道哪裡有打砸搶的事，我是要去製止的。有時帶了一些打人的武器回來，為的是要告訴小組的人知道有這些事，江青便說：“你放著小組的會不開，搞這些幹什麼。”
我的最大罪惡，首先是極端狂妄地提所謂路線問題。這是永遠無法寬恕的。同時，我又胡亂隨便接見一些人，亂說瞎說，讓一些同志蒙受大難，這也是無法寬恕的。
陳伯達回憶起江青如何在“中央文革小組”裡“臭罵”他的：
週總理主持中央文革碰頭會後，我只參加週總理召集的會，不再召集小組的會。週總理不在釣魚台召集會的時候，我通常不再進那個“辦公樓”。
不記得是哪一年，我曾經不經心地走進那個辦公樓，看看管電話的同志，並且在開會廳坐了一下。忽然，江青來了，康生也來了，姚文元就在樓上住，一叫就到。
江青即宣布開會，臭罵我一通，康生也發言。他們那些話，我已記不住，主要是說，為什麼不召集小組開會，等等。我只得讓他們罵，不作回答。顯然，我只有不肯召集小組單獨開會這點本事，可以對付一下江青。
由於陳伯達無法在“中央文革小組”呆下去，他曾一度提出，希望辭去“中央文革小組”組長之職，到天津去工作。陳伯達曾這樣回憶：
天津問題的由來，是我聽說中共天津市委第一書記萬曉塘同志自殺。萬曉塘同志我是很熟的，在文化革命前我到天津去，差不多都是他出面招待，文化革命後聽到他自殺，我很苦悶，有一回，還作了調查，沒有調查出什麼眉目。
因為我不想當那“中央文革小組”組長，也實在當不下去，天津出了此事，我就在中央會議上提出我到天津工作，毛主席表示同意。雖則我沒有提出辭去“組長”名義，但意在不言中了。 ……
但是，過了些天，毛主席又說，天津情況也很複雜，你也難工作，讓解學恭去。中央談話的這一切經過，解學恭當然不可能知道。一回，在天安門上，毛主席遇見解學恭，就告以此事，可能週總理也在。解學恭到天津的經過，的確是這樣。後來我聽說，毛主席過去曾經認得解學恭。以後解決各省問題，中央會議在周總理的具體主持下，做了分工，由我參與天津事，在決定主要人選時，我根據中央的意見，就提解學恭擔任中共天津市委第一書記。
有一次天津的大學生兩派互鬥，一派被圍，斷水斷電，週總理主持的中央會議決定我馬上到天津去解決，我當晚到天津就到現場，解決了一方之圍，但我被另一方層層包圍，幾乎要被擠死，幸而解放軍給我救急，找到一個吉普車，把我推進車上，匆匆開出，這是我經常感念偉大的解放軍的。
在天津剛有些秩序時，江青聽了她在天津的一個耳目的話，就夜間叫幾十輛大卡車，把天津那時所有活動分子都弄到北京來，我阻止此事已來不及，還被迫去參加。此會一結束，天津市副市長王亢之回到天津自殺，天津市公安局長江楓被禁閉。
※ ※ ※
這裡提到的王亢之、江楓，都與陳伯達有較多的來往。在陳伯達倒台之後，王亢之、江楓以及天津作家方紀，均被當時的天津報刊稱之為“陳伯達在天津的死黨”。 1968年初，王亢之在被江青點名之後自殺。在自殺之前，王亢之留下遺囑，把他所珍藏的宋版古籍送給陳伯達。
1979年初，身在秦城監獄的陳伯達從報上得知王亢之平反的消息，馬上向有關部門提出請求，把王亢之送給他的兩部宋版書，交還給王亢之家屬。
陳伯達還回憶起，在“中央文革小組”，他與江青互相“回敬”：“我看不起你！”陳伯達說：
可能是在1968年，有一回，接到江青那裡的電話，說要開會，是在她的住處。我去了，江、康、姚都已先在。
江青提出：“你要逼死一個文藝編輯。”
我說，報館編輯部互相審查歷史，我沒有發動，沒有參加，沒有出什麼文章，怎麼會是我要逼死他？
康生說：“你沒有看他寫的東西，那是；'絕命書'呀。”
接著，江青把她桌上的大瓷杯子狠狠地往地上一摔，化作粉碎，表示她對我的極度憤怒。我覺得房外有警衛戰士，如果看到這堆碎片會很奇怪，因而把這些碎片一點一點地收拾起來，帶回自己住處，要我那裡的工作人員放到人足踩不到的河溝裡。
那時，如果那位文藝編輯竟然屈死，我就要對此負重大的罪。但康、江並不關心任何人的命運。這件事當作問題向我提出，僅僅是“欲加之罪，何患無辭”。
聽別人說，江青那時正要用那個文藝編輯當秘書，為此找了這樣的藉口。也是聽別人說，因為毛主席反對此事，故未用成（這些事只是當時聽說，沒有做任何事實查對）。
江青早已找了一個藉口，把我趕出中南海。上面的事發生後，第二天我即到當時新找的房子住下來，想避免在釣魚台，繼續受她的糟踏。當然，有時我也還到釣魚台那個原住處看看。
就在我離開釣魚台這件事，在毛主席主持的一次會議上，江青乘機正式告我一狀，說：
“陳伯達已不要我們了，他已離開釣魚台，另住其他地方。我同xx（指她的女兒）回到中南海給主席當秘書好了。”她在搞挑撥離間的勾當。在當時的情況下，我一句話未說。一次會上，江青說：“我同陳伯達的衝突，都是原則的衝突。……”張春橋也在會上鼓起怒目視我。
我火氣一發，不再聽江青霸道下去，從坐位上起來，即走出會堂。江青回過頭來大聲說：“我看不起你！”
我回了一句：“我也看不起你！”
陳伯達在“中央文革小組”裡，不斷與江青對吵。但是，陳伯達不能不容忍江青，這全然是因為江青是“第一夫人”：
一家報紙有一個不懂事的管照片的青年，找了毛主席一張像片，又找到江青一張，就拼湊在一塊。據說，這是那個文藝編輯授意的。我原不知道這事，有一次開會後聽說過，也沒有再去詢問。但有一次會議時，江青忽然對這張像片事發言，大意是：“人家說我要當武則天，慈禧太后，我又沒有她們的本事。有什麼歷史問題，也不跟我說。
我插了一句說：“你說我要逼死他，誰敢給你說？”
江青便大聲說：“你造謠！”
週總理接上一句：“你是說過呀。”
江青就跟總理對頂起來。
這時我離開會場，在大會堂轉了一圈，又要進會場。週總理說：“你回來幹什麼呀？”
我聽了周總理的話，覺得可不再參加會議，就回到住處。
當夜，有兩位同志來，一個當時在總理處管警衛工作，一個是當時中央辦公廳的工作人員。見面時，他們沒有說什麼話，但我一見，就覺得總理的高義盛情，深為感動。我說一句：“如果不是因為毛主席的關係，誰理她呀？”
這樣的話，後來我也跟別人說過。
此事以後，我才通過宣傳聯絡員去了解這張像片的製作的經過，也才看到這張假照片。