1932年10月，毛澤覃、賀怡奉調瑞金。毛澤覃任蘇區中央局秘書長。
賀怡生育不久，將剛剛滿月的孩子交給母親撫養，擔任了中共瑞金縣委組織部副部長。這個孩子，後來在戰鬥中失散。
不料，與當主席的大哥在一起，他們並沒有得到預期的歡樂，反而遭受一連串無情打擊、迫害。
那時候，蘇區中央局寧都小源會議剛剛開過，解除了毛澤東的紅一方面軍總政委、前敵委員會書記的職務。初當主席的毛澤東，正在瑞金坐冷板凳，處於挨整的地位。
隨即，博古率上海中央局來到蘇區瑞金，矛頭更是直接指向毛澤東。
投鼠忌器，當時的“左傾”領導人博古，要大整根深蒂固的毛澤東，也不那麼簡單。於是，敲山震虎，他尋隙先在福建搞了個“羅明路線”，大批特批，繼而，又將毛澤覃等人打成了“鄧、毛、謝、古”反黨小集團，作為江西“羅明路線”的代表來批判。
其時，被打成“鄧、毛、謝、古”小集團的幾人，罷免了職務，解除了武裝，並下放到艱苦的環境中去勞動、工作，類似“文革”期間的“監督勞動”。
毛澤東是個性情中人，十分注重親情。而在所有的親人當中，他最疼愛聰明過人，敢作敢為的小弟毛澤覃。但是，人在厄運中，一切都無能為力。
此事，賀怡多次到毛澤東處哭訴。毛澤東亦無可奈何，曾對賀怡、賀子珍說：“王明他們已經擺開架勢，要往死裡整我了。”又道：“他們整你們，是因為我，你們是受了我的牽累呀！”一場聲勢浩大，反對以鄧、毛、謝、古為代表的所謂“江西羅明路線”的鬥爭，逐步深入，又連累了另一些人，連累的連累，在一串串地進行。
賀怡的哥哥賀敏學，紅24師代師長的職務被撤消，送進紅軍大學接受審查。賀子珍與曾碧漪一直為總前委管理機要文件，後又兼管蘇維埃政府文件。這時，連文件也不要她們管了。賀怡亦被撤職，送到中央黨校洗腦子。
“鄧毛謝古”反黨小集團是先定性，後整材料。首先要求賀怡提供揭發材料，遭到嚴拒。賀怡則被指責為“鄧毛謝古”的骨幹，“幫助了小組織形成”，“參加反黨小組活動”。成為中央黨校的重點鬥爭對象，連續鬥爭達一個多月。
倔犟的賀怡暗中以淚洗面，面對面卻更倔犟，不屈服、不畏縮，不承認參加“反黨小組活動”，不寫揭發材料，不寫檢查。她表現得十分潑辣，硬硬地頂撞，有時，甚至高喊起來：“毛澤覃是個好同志，不是什麼反黨派別、小組織的領袖。我沒有看到他同其他人，搞過什麼反黨活動，更不可能擔任什麼領袖。他幹的是革命，我完全同意，完全支持。我們之間沒有什麼界線要劃清。”其時，賀怡身懷重孕，不久便要生育，一些人對她的鬥爭只好草草結束。期間，她不能和毛澤覃見面。賀怡知道做爸爸的多麼想看看自己的孩子啊！生下孩子之後，一天夜裡，她避過耳目，偷偷地把孩子抱了出來，給毛澤覃看。毛澤覃凝視妻子：產後的面孔十分蒼白，孩子也因缺乏營養而顯消瘦，眼睛不由一陣酸澀。
中央黨校校長博古，對賀怡的態度十分惱怒，下令開除其黨籍。恰巧，出外巡視的副校長董必武返校，立即出面乾涉，不同意開除賀怡黨籍，並親自擔保，以半年時間對她進行考察。後來，以黨內警告處分了結此事，保住了她的黨籍。
身心受到這樣的打擊，賀怡當然想不通，向毛澤覃傾訴委屈。不意，年輕氣盛的毛澤覃，在經受一系列殘酷鬥爭和無情打擊後，成熟多了，不但沒有發火，反而勸導她：“革命道路是坎坷曲折的，一個真正的革命者身處逆境，更要堅強些，要榮辱不驚，經受得住一切打擊，繼續做好工作。”賀怡默默點頭，覺得毛澤覃說得對。
後來，賀怡回憶這段往事，曾說：“好得董副校長及時回來，保住了我的政治生命，如果董老晚回來一天，我也完蛋了。”1934年春，賀怡被“發配”到夏肖區，她帶著一個小組在沙洲壩搞查田。
一天，柏樹下村一個廖姓農民來哭訴：“我兩個兒子是紅軍，一個女兒是少先隊員，一個是兒童團員，我也參加過打土豪分田地。現在，林金生怎麼偏要把我劃成地主……”說著說著，他就要下跪。
身受冤屈的賀怡見到別人也受冤屈，不由怒火中燒，她帶著查田小組來到柏樹下村做深入細緻的調查，一家一家了解情況，核實數據。發現問題相當嚴重：
蘇區中央局派來的查田運動工作組長林金生，執行左傾政策“地主不分田，富農分壞田”，把查田變為查階級，不但查地主、富農，而且查中農、貧農、工人，並且查到三代五代上去了。給大部分人進行成分升級，有8戶中農、紅軍家屬劃成地主、富農，抓起來進行打擊。
掌握大量第一手材料，賀怡並沒有蠻幹，她一面向上組報告，一面派人把林金生找來。事關重大，董必武、何叔衡立即親自來了，何叔衡授權賀怡處理此事。林金生一來，賀怡拍案而起，當眾指責：“你把柏樹下搞得烏煙瘴氣，貧農變中農，中農變富農，富農變地主，貧農也變地主……”接著，她一一例舉了林金生弄虛作假的事例。
內心空虛的林金生，嚇得額頭冒冷汗，囁囁嚅嚅地承認了錯誤。
這件事的處理過程，使董必武、何叔衡、鄧發等領導同志，對賀怡有了進一步的了解。鄧發讚揚她說：“賀怡工作過得硬，很適合搞地方工作。”不久，賀怡擔任了夏肖區委書記，她吃苦耐勞，身體力行，將各項工作都搞得有聲有色，被評為瑞金縣的一面紅旗。
在誣陷中，她用紅旗洗雪自己。