李贄在麻城時，住在龍湖寺芝佛院中。
在那裡幽居，李贄的思想是苦惱而矛盾的，他對世事有火熱心腸，卻過著隱居生活；他住在僧院，讀經談佛，卻供奉孔子；他自稱和尚，但酒肉皆入。其實，他既不信孔，也不信佛，這樣做不過是表示“玩世不恭”罷了。閒著無事時，他就在芝佛院著書講學，“儒釋從之者，幾千萬人”（沈瓚《近事叢殘》），以至“一境如狂”（顧炎武）。李贄喜歡引見求學者，不論誰請教他，提出什麼疑難問題，他都耐心盡力解答，因此，他的聲名和影響遍及麻城和黃安之間。有時，也有一些名門婦女來聽講就學。有人說：“女人見識短淺，不能學道呀！”李贄立即說：“講人有男女性別之分，可以；講見識有男女之分，哪行？講見識有長有短，可以；但講男子見識都長，女子見識都短，可以嗎？況且那些為學法而來的女子，甚至比男子還強啊！”他愈說愈激昂，使大家都很驚訝。李贄說的“男子不如”者，是指梅國楨（曾任兵部右侍郎、總督宣大山西軍務）的女兒譫然，她寡而信佛，歸依李贄，李贄把她比作男子，為她著《觀音問》等書。
由於李贄主張學道不分男女，因此，麻、黃間的士大夫們大嘩，流言蜚語鋪天蓋地，他們攻擊李贄，詆毀他“左道（偏道）惑眾”，想驅逐他。李贄對此卻付之輕蔑一笑，說：“我左道嗎？那給加冠好啦！”於是，他穿起舊日的官服，以示反抗。