胡適家的房屋，是他父親當官以後新蓋的二層樓房。雖不十分闊綽富麗，卻也精緻而大方。正面牆上有騰飛的門簷。門簷下兩扇黑漆大門。門上貼著“僧道無緣”的大紅紙條。這是舊日理學家庭的一個典型標記。胡適的叔父兼老師胡介如家，門上也貼有“僧道無緣”的紙條。他們篤信程朱理學，不言怪力亂神，不信神佛迷信，也不布施和尚道士。貼上這“僧道無緣”的條子，和尚道士就不敢登門了。
但是，胡家的女眷卻深信神明菩薩。胡傳死後，大門上“僧道無緣”的紙條也由紅變白，後來竟完全剝落，無影無踪了。女眷們便誠心而自由地求神拜佛。家里人有個三災兩病，便念經許願，求神佛保佑；甚至恭請和尚到家裡來，放焰口，超度冤魂。
在這樣的環境下，胡適小時候，便常聽那些信佛的老太太們講“目連救母遊地府”，講“妙莊王的公主(觀音)出家修行”的故事，見神見鬼。他自己也看過一些宣傳神鬼的連臺本戲，讀過老太太們帶來的《玉歷鈔傳》、《妙莊王經》等勸善罰惡的“善書”。於是，他幼小的心靈裡也裝滿了神佛觀念。十殿閻君，牛頭馬面，地獄的慘酷，輪迴的苦痛，使他產生了一種莫名的恐懼心理，最怕來世變豬變狗。加之，胡適自幼體弱多病，他的母親也常替他求神許願，教他誠心敬佛。
每年去中屯外婆家，十里路上，所過廟宇路亭，只要有神佛的，母親便教他去拜揖。有一年，她還親自帶著胡適去朝拜古壙山，在觀音菩薩座前燒香還願。山路崎嶇，她的一雙小腳行走十分艱難，卻不叫一聲苦痛；這時候的胡適，自然也是一個很虔誠的小香客，小信士。
但這個虔誠的小信士，不久便變成了一個無神論者。事情是從朱熹的《小學》開始的：
有一天，我正在溫習朱子的《小學》，念到了司馬溫公的家訓，其中有論地獄的話，說：“形既朽滅，神亦飄散，雖有燒舂磨，亦無所施。……”我重讀了這幾句話，忽然高興的直跳起來。 《目連救母》、《玉歷鈔傳》等書裡的地獄慘狀，都呈現在我眼前，但我覺得都不怕了。放焰口的和尚陳設在祭壇上的十殿閻王的畫像，和十八層地獄的種種牛頭馬面用鋼叉把罪人叉上刀山，叉下油鍋，拋下奈何橋下去餵餓狗毒蛇，——這種種慘狀也都呈現在我眼前，但我現在覺得都不怕了。我再三念這句話：“形既朽滅，神亦飄散，雖有燒舂磨，亦無所施。”我心裡很高興，真像地藏王菩薩把錫杖一指，打開地獄門了①。
科學思想向迷信思想挑戰了。胡適從朱子的《小學》裡，知道了司馬光論地獄的樸素唯物主義觀點，使他開始懷疑，不再相信地獄輪迴的鬼話了。不久，他又讀司馬光的，從中知道了范縝的《神滅論》：
縝又著《神滅論》，以為：“形者神之質，神者形之用也。神之於形，猶利之於刀；未聞刀沒而利存，豈容形亡而神在哉?”此論出，朝野喧嘩，難之，終不能屈②。
范縝用一個通俗的譬喻，說形與神的關係，就像刀和刀口的鋒利一樣，沒有刀，便不會有刀的“快”了；沒有形體，還能有神魂嗎?這樣淺顯的譬喻，說明了深刻的唯物主義哲理，使知識初開的胡適，完全相信了無神鬼的道理。他說，“司馬光引了這35個字的《神滅論》，居然把我腦子裡無數鬼神都趕跑了。從此以後，我不知不覺，成了一個無鬼無神的人”；而且，“影響了他一生的思想”③。
經過了這次“思想解放”之後，胡適便不再虔誠拜神禮佛了。但他從小是一個對母親很孝順的人，當著母親的面，還不敢說不信鬼神的話；他母親叫他去拜神佛，也不敢不去，怕傷他母親的心。而當母親不在跟前，胡適便對小伙伴們大發無鬼無神的議論，甚至去打菩薩。中屯村前有個三門亭，亭裡供著關老爺的塑像；
村旁小廟裡有幾個羅漢菩薩。胡適到外婆家，常和小伙伴們去小廟或亭子裡玩。
他領著打菩薩的耳光，但不明顯打壞；有時又拔去菩薩的幾根鬍鬚，也絕不拔光。因此，一直沒有被大人們發覺。
有一年正月間，胡適去大姊家拜年，住到正月十五元宵節，才和外甥章硯香趕回上莊去看燈。半路上經過中屯的三門亭。他們走進亭子歇息。胡適對硯香說，“這裡沒有人看見，我們來把這幾個爛泥菩薩拆下來，扔到毛廁裡去，好嗎?”這欺神滅道的話，把比他大幾歲的外甥給嚇住了。章家跟送的長工忙加勸阻，說“菩薩是得罪不得的”。胡適還不服氣，偏要拿石子去打神像。恰好村里有人來，他們才走了。
回到上莊，鑼鳴鼓響，獅燈龍燈，熱鬧非常，來看燈的客人很多。胡適乘客多的風頭，也喝了幾杯燒酒。晚間被涼風一吹，他便醉得說起胡話來，亂喊亂叫，要月亮下來看燈。胡適的母親見此情景，又急又怕，把他連抱帶拖，拖進房裡去，正不知如何是好，那章家的長工走進房來，把白天在三門亭的話，低聲報告了胡適的母親，並說“怕是得罪了神道，神道怪下來了”。胡適此時其實心裡明白，正擔心酗酒鬧事，受母親責罰。聽到那長工的話，便計上心來，大說瘋話，越鬧越兇，裝著真有神鬼附在身上一般。胡適的母親急得沒法子，急忙洗手焚香，禱告三門亭神道，請求寬恕無知的孩童，又許願病好以後，親自到三門亭神道前燒香還願。胡適暗暗慶幸，小施妙計，便躲過了一場責罰；可是，他萬萬沒有想到責罰卻在一個月之後——
過了一個月，母親同我上中屯外婆家去。她拿出錢來，在外婆家辦了豬頭供獻，備了香燭紙錢，她請我母舅領我到三門亭裡去謝神還願。我母舅是個虔誠的人，他恭恭敬敬的擺好供獻，點起香燭，陪著我跪拜謝神。我忍不住笑，恭恭敬敬的行了禮，——心裡只怪我自己當日扯謊時不曾想到這樣比挨打還更難為情的責罰④!
胡適在他的徽州家鄉和親人中間，漸漸度過了童年和少年時代。這裡，既山川秀美，又貧瘠閉塞；既有深厚的文化傳統，淳樸的民情風俗，又有濃厚的封建意識，愚昧落後的迷信思想。胡適在這裡生活了九年，個兒長高了，知識初開了，還得到一點做人的訓練，養成了一點用功的習慣。然而，他那渴求知識的心，卻已經難於滿足了。故鄉的山，是那麼高峻青翠而可愛。但高山那邊是什麼呢?他渴望著越過那山嶺的阻隔，去看看山外的世界。
①《四十自述》“從拜神到無神”，上海亞東圖書館版，第37頁。
②司馬光著卷第一百三十六“齊紀二”武帝永明二年(484)，載范縝在南齊竟陵王蕭子良西邸，辯論佛教因果報應之事雲：
范縝盛稱無佛。子良曰：“君不信因果，何得有富貴、貧賤?”縝曰：“人生如樹花同發，隨風而散；或拂簾幌墜茵席之上，或關籬牆落糞溷之中。墜茵席者，殿下是也；落糞溷者，下官是也。貴賤雖復殊途，因果竟在何處!”子良無以難。縝又著《神滅論》，(中略）太原王琰著論譏縝曰：“嗚呼范子!曾不知其先祖神靈所在!”欲以杜縝後對。縝對曰：“嗚呼王子!知其先祖神靈所在而不能殺身以從之!”子良使王融謂之曰：“以卿才美，何患不至中書郎；而故乖剌為此論，甚可惜也!宜急毀棄之。”縝大笑曰：“使范縝賣論取官，已至令、僕(按，指尚書令與左右僕射，相當宰相)矣，何但中書郎邪!”
范縝(約450—約510)，南朝齊梁時著名的唯物主義哲學家和無神論者。所著《神滅論》，載《梁書》卷四十八本傳，並附見梁釋僧佑編《弘明集》卷九梁蕭琛的《難神滅論》一文中。司馬光此處所引文字，系綴合原文，並稍有字面上的改異。然而“縝大笑”云云，栩栩傳出一個正直狷介的知識分子的磊落胸襟，不愧大史家手筆。
③胡適當時尚不知道《神滅論》全文載在何處。到寫一文時，方引述《神滅論》原文。而1930年12月，寫作《四十自述》“從拜神到無神”一章時，大約又未細檢原文，故有司馬光“編《通鑑》時，硬把《神滅論》摘了最精彩的一段，插入他的不朽的歷史裡”的話，仍把綴合的這段文字，誤認為《神滅論》裡“最精彩的一段”原文了(參看《四十自述》亞東版第38頁)。
然而，范縝的《神滅論》，對胡適確是“影響了他一生的思想”。 1908年，胡適在上海中國公學接編《競業旬報》，曾於“談叢”欄中發表《無鬼叢話》多條，陸續載該刊第25至32期，其中第一條就引述了司馬光“家訓”裡的話和范縝《神滅論》裡的話(見《競業旬報》第二十五期)。 1914年8月，胡適在《藏暉室札記》卷六，又寫了《神滅論與神不滅論》和《范縝因果論》。因思想有了進步，對范縝“識理亦有疵”微有批評，但主要仍是肯定，並讚揚范氏“人生如樹花同發，大有平等之意。墜茵落糞，付之偶然，未嘗無憤忿不平之心”(見《藏暉室札記》亞東版第364頁)。 1919至1921年間，寫一文，再次引用范縝的《神滅論》；並特別指出《神滅論》的幾句話，使他“心裡受了一大感動，後來便影響了他半生的思想行事”(參看《胡適文存》卷四第105—115頁)。 1945年，又寫《考范縝發表〈神滅論〉在梁天監六年》(1946年4月改定，載《大公報?文史周刊》第35期)。距幼時讀，已是45年，真可謂終生不忘了。
④《四十自述》“從拜神到無神”，亞東版第42頁。