就在梅貽琦病情暫時穩定，生命迴光返照的日子，最後一次住進台大醫院特一號病房的胡適也在醫務人員緊急施救中掙脫了死神的召喚，重新站立起來。在住院的後期，胡適經常來到對面的特二號病房探望躺在病床上的梅貽琦，聊一些公私事宜。其間，一生愛好為文立據的胡適深知梅氏病況和醫治情形，預感到老友將不久於人世，在交談中委婉地勸梅貽琦寫一個遺囑，不論公事、私事，皆立一字據，給自己也給後人一個明晰的交代。梅聽罷並不作答，且有不悅之色。胡不便繼續言說，此事遂不了了之。後雖經韓詠華和梅貽琦之弟、專門從美國趕到台灣的梅貽寶勸說，仍未奏效。
1961年12月5日上午，負責料理胡適病情的胡頌平一到醫院，胡適便笑著說：“今早七時，我寫了一封情書，是給對面的老朋友的情書。”言畢拿給胡頌平觀看，內容如下：
恭賀月涵老兄做清華校長整三十年的紀念日，並祝您早日完全恢復健康！
小弟弟適之1961年12月5日早晨7點。 ——入醫院後第一次寫字，敬告老兄，我覺得很好了！
據胡頌平當天記載：“今天是梅貽琦做清華校長30年的紀念日，清華校友會有一個慶祝紀念會，同時給他發起募捐醫藥費，不讓梅貽琦本人知道。查良釗送來祝壽募捐辦法，先生捐了美元五百元。”此時胡適經濟並不寬裕，一次捐助五百美元，可見其與梅的深厚情誼以及士林盟主的風範。
十天之後的12月16日上午，蔣經國代表蔣介石專程到醫院探望梅貽琦與胡適。在特二號病房，蔣氏詳細詢問了梅的病情和治療情況，叮囑醫務人員不惜一切代價延續梅的生命。此時胡適病情已得到控制且大有好轉，蔣經國進入病房後作了簡單詢問，代表蔣介石預祝胡適70歲生日，並商定等胡出院後再專門設宴為其祝壽。
第二天，胡適在台大醫院病房內接待來訪者並度過了一個熱鬧的生日。夫人江冬秀專門在台北福州路26號臨時住宅舉行慶祝壽宴會，毛子水、楊亮功等四十餘人前往參加慶祝。此時沒有人想到這竟是胡適最後一場生日慶宴。
1962年1月10日，胡適病癒出院，回到台北福州路26號臨時住宅療養，行前專門到梅貽琦房中探望，作了推心置腹的長談，隨後舉家遷到南港學人宿舍居住。 2月20日，胡重返台大醫院複查身體，血壓、心臟均正常無恙，臨走前，順便探望老友梅貽琦。面對兩位老友戀戀不捨的情景，在場者為之感動的同時，都認為躺在病床上靠輸血維持生命的梅一定走在胡之前。想不到世事無常，生死自有定數，談笑風生的胡適竟先梅貽琦而去。
1962年2月24日，“中央研究院”在南港蔡元培館舉行第五次院士會議，選舉新一屆院士。胡適幾位在海外的學生，或隔代門生如吳健雄、袁家騮、吳大猷、劉大中等四位“中央研究院”院士，皆從美國趕來助勢，其中吳健雄——這位胡適早年在中國公學的學生、“二戰”期間美國“曼哈頓計劃”（研製原子彈）的參與者、普林斯頓研究院兩百多年曆史傳統的第一位女性研究員兼教授、楊振寧與李政道“弱相互作用中的宇稱不守恆”定律的實驗證明者、“全世界最前列的女性實驗物理學家”，於前一日在台灣大學化學館作了“對等律”演講。吳氏先從空間與時間講起，再談起左右觀念在自然律中是不存在的。後來講楊振寧、李政道兩人當時推翻物理學上基本的對等定律的時候，好像在一座漆黑的大房子之中，知道有一個地方可以出去，但不曉得從什麼地方出去，於是吳氏本人怎樣的把它實驗證明出來。在這個證明過程中，吳健雄幾個星期睡不著覺，反复琢磨，終於用實驗證明了出來了。最後，吳氏總結道：“科學不是靜的，是動的，而是永遠不停的在動的；要有勇氣去懷疑已成立的學說，進而去求證。就是胡院長說的'大膽的假設，小心的求證'的兩句話。”當專門前去聽講的胡頌平回來向胡適報告吳的演講內容與最後的總結，胡氏異常高興和激動，在與吳的丈夫、當年的袁世凱大總統之孫袁家騮電話通話中，特別提及道：“我已知道健雄今天演講的成功，我特別高興，請你替我賀賀健雄。”正是怀揣這樣一份激動與亢奮心情，身體健康不佳的胡適出席了第二天召開的院士選舉會議。
24日上午8點20分，胡適出現在南港“中央研究院”蔡元培館，十八位出席會議的院士全部到齊。 9時，胡適宣布開會，選舉開始。經過三輪投票，選出新一屆院士七人。分別為：
數理組：任之恭、梅貽琦、程毓淮、柏實義。
生物組：李景均。
人文組：陳槃、何廉。
下午5時，胡又出席“中央研究院”舉辦的酒會，入席者達一百餘眾。胡適滿面含笑地登台致辭：“今天是中央研究院遷台十二年來，出席人數最多的一次院士會議。令人高興的是海外四位院士也回國參加這次會議。中央研究院第一屆院士是在大陸上選出的，當時被提名的一五零人，選出了八十一位。現在一部分是過去了，有的淪陷在大陸，只有廿多位在自由地區。中央研究院在此恢復時，只有十九位活著在台灣。……現在得了政府的幫助，及海外團體學會的幫助，始有今日的規模。設了七個研究所，召開了四次院士會議，選了三屆院士。今天上午第五次院士會議，經過了三次投票，結果選出七位院士。二位在台灣，五位在海外。在台灣的是梅貽琦、陳槃，在海外的是任之恭、柏實義、程毓淮、李景均、何廉。十幾年來，我們在這個孤島上，可算是離群索居，在知識的困難，物質的困難情形之下，總算做出點東西……”
胡適講罷，由凌鴻勛與李濟分別講話。李濟先說“中央研究院”的任務是擬訂國家學術方針和研究政府交議事件。為國家擬訂學術方針是件任重道遠的事，我們如何交代？接著舊事重提，談到1961年11月6日，胡適出席“亞東區科學教育會議”，在開幕式上所作的《科學發展所需要的社會改革》演講並受到圍攻，同時提到胡適的觀點在某些地方與自己的看法也不一致。認為“科學思想在中國生根不成，是最大的問題。經過50年提倡，今天我們的成績如何？一切科學設備是向外國買來的，學生最後必須出洋去，我們有什麼中文的科學大著作？還比不上日本。我真不敢樂觀，科學不能在這裡生根，就總覺得它是舶來品……”
對於李濟的說法，接著講話的吳大猷不以為然，勸大家不必悲觀，吳說：“我們有了留學制度40年，為什麼科學不能在國內生根，主要的原因是缺乏環境。留學得了博士的，只是找到研究學問的入門，並沒有受完足夠的訓練，如果立刻回國，就很難自行繼續研究下去。我們要把基礎栽培起來，絕對沒有捷徑。像楊振寧、李政道這樣的天才，尚需八九年的訓練才能成熟。一個國家更得加倍努力的時候，要20年才能有個標準。我覺得李濟先生不必太悲觀……”
吳大猷言畢，胡適接著說：“我贊成吳大猷先生的話，李濟先生太悲觀了。”胡適說此話，是緣於李濟舊事重提，勾起了他的不快。胡氏想到自己的觀點遭到社會上無聊之徒的“圍剿”，如今連自己人也不贊成，有些惱火。隨後的發言，雖是承接吳大猷所講“不知哪位先生首先提出'迎頭趕上”'這句頗有些不自量力和投機意味的說法而來，但心中仍是衝“圍剿”的舊事而藉題發揮。胡適說道：“我們中央研究院從來沒有說過什麼太空、迎頭趕上的話……我們現在不要談太空理論，是達不到的，今天連一個完全的物理係都沒有，還談什麼太空？清華大學花了200萬美元，添購設備，可是依舊沒法聘到中年的物理人才來領導……”胡適說到此處，似有些傷感和動情，繼之說道：“我去年說了二十五分鐘的話，引起了'圍剿'，不要去管他，那是小事體，小事體。我挨了40年的罵，從來不生氣，並且歡迎之至，因為這是代表了中國的言論自由和思想自由。”
胡適所說的“圍剿”，自是指以徐復觀為盟主的一批所謂的“新儒家”和異己分子，對自己的思想觀念和人身攻擊。按當時的情景推斷，面對海內外雲集而來的學界名流、門生故舊，此時的胡適心頭在掠過徐復觀以“恥辱”、“臉厚心黑”、“最下賤的中國人”等詞語謾罵的同時，也一定不會忘記徐氏攻擊自己為維持現有的官場和學術地位而採取的三大戰略：
第一大戰略是：以誣衊中國文化、東方文化的方法，來掩飾他為什麼不懂中國文化、東方文化。以讚頌自然科學的方法，來掩飾他為什麼不懂西方人文科學方面的文化，因為他是志在自然科學。以懺悔少年走錯了路的方法，來掩飾他為什麼又不懂自然科學。第二大戰略是：以“無稽之談”，“見機而作”的方式來談自由民主。
第三大戰略是：以院士作送居留美國或已入美國國籍的學人的人情，因而運用通信投票的魔術，提拔門下士，使中央研究院變為胡氏宗祠。
儘管胡適一再表白對於別人的罵，自己從來不生氣，但要做到心如止水，又談何容易。因而當胡適對當年“二十五分鐘的話”舊事重提後，當時在酒會現場的胡頌平說看到：“先生講到這裡，聲調有點激動。”接著對台灣立法院、監察院、省議會，特別是監察院“那個破房子裡一群老先生老小姐聚在一起討論批評”進行了嘲諷。就在胡氏“大聲疾呼的時候，突然把話煞住，也許感到（身體）不適了。急忙接著說：'好了，好了，今天我們就說到這裡，大家再喝點酒，再吃點點心吧，謝謝大家'”。
此時，立在不遠處的胡頌平看了下表，正是6點半，客人開始陸續散去，胡適仍站在原處含著笑容和一些人握手告別。當他正要轉身和一位客人說話時，忽然面色蒼白，晃了一晃便仰身向後倒下，後腦先碰到桌沿，再摔倒在磨石子的地上。站在他附近的凌鴻勛、錢思亮等連忙伸手來扶，但為時已晚。一代鴻學碩儒、儒林宗師、新文化運動的老祖，因突發心髒病發作溘然長逝。
噩耗傳出，有人謂胡是被李濟氣死，更多的人則認為李濟只是在錯誤的時間，錯誤的地點，點燃了一根錯誤的引線。胡適真正的死因應該歸之於徐復觀等輩狂勃的謾罵與圍剿，徐復觀才是真正導致胡適砰然倒地的天暴星和喪門神。
胡適所說的挨了四十年的罵，當是自五四運動開始算起，四十個春秋的舊創新傷在悲苦交集中一起發作，導致命赴黃泉。胡氏的突然卒亡，不禁令他的門生故舊憶起走在前邊的傅斯年。當年傅斯年在台灣省議會大廳被“氣死”，如今胡適又死於“中央研究院”大廳，兩位亦師亦友的學術文化巨人，竟都選擇了這樣的方式猝然倒下，或許是一種心靈的呼應，或是上帝有意安排？傅斯年活著的時候曾不止一次說過：“不管是什麼人，都不能罵胡適之，只有我才有資格罵。”現在，時常微笑著的胡適之已去，於九泉之下寂寞日久的傅斯年總算又有“開罵”的對象了吧。
胡適帶著“朋友”式的微笑匆忙走了。台島震動，世人同悲。蔣介石聞訊，以哀惋之情當晚親筆潑墨揮毫，寫下了意味深長的輓聯：
胡適先生千古新文化中舊道德的楷模，舊倫理中新思想的師表。
蔣中正敬挽這副輓聯確乎較為真切地概括、體現了胡適一生的功德與風範，是所有輓聯中最優秀的傑作，其他一切皆不足與其齊肩並論。這個評價，除了緣於該聯詞句組合之妙及含義深遠廣博，當然還與出自蔣介石之手密切相連。此聯出於介公之手就變得大為不同，後世研究者認為其情甚幽，其意甚深焉。該聯在表彰胡適功德的同時，亦隱含了蔣對胡的成見與芥蒂，同時亦暗示譏諷胡適的隱私、特別是與多名女性在醋海情波中糾葛不清、隱而未顯的風塵舊事。 ——只是無論如何詮釋解讀，都無法否定這副輓聯在章法上獨出匠心的傑構，以及介公對死者的尊敬哀悼之情。
胡適去世的第二天，宋美齡專程赴胡宅看望悲慟中哭得淚人一樣的胡適夫人江冬秀，勸其節哀，保重身體，要好好地活下去云云。 2月27日，蔣介石派專人送來親筆手書的挽額“智德兼隆”四個大字以示哀悼之忱。 3月1日，胡適的遺容公開瞻仰，蔣介石親自前往弔唁。 6月27日，蔣公頻布褒揚令，有“中央研究院院長胡適，沈潛道義，浚瀹新知。學識宏通，令聞卓著。首倡國語教育，對於普及教育，發揚民智，收次甚宏”等讚語。
除蔣介石、陳誠等為代表的官僚集團與政客紛紛致送挽詞、輓幛以示哀悼，與胡適生息相依的“中央研究院”同仁聯合撰著祭文，對故院長一生非凡的功業給予充分褒獎與稱譽，文曰：
你在這幾十年來的論戰裡，也只有一種不改不移的觀念。你最敬愛中國古代的聖人，但你最不愛浮誇遙遠的光榮。你也最看重中國近代的革命與進步，但你又最深知我們民族累積的弱點。你不斷地用世界的水準衡量我們民族的內心和物理的生活，所以在你七十歲的病中，和在你的青年壯盛的時代一樣，你都不怕逆著風向，挺身高呼，你要國人痛切覺悟我們東方老文明的衰朽，你要國人熱誠賞識西方新文明的成就。
我們懂得你的用心：
你是要國人踐孔子“知恥近乎勇”的格言，你是和手創民國的中山先生一樣，要喚起這個知識、道德“都睡了覺”的民族。
我們懂得你的刺耳警心的言論，不是對國家尊嚴的傷害，而是一個再造文明、復興民族的關鍵。
胡適的遺體人葬台北“中央研究院”在南港“學人山”專門為其興建的墓園。出殯之日，台灣各界有30餘萬人為“我的朋友胡適之”自動執紼。國民黨要人、學界名流、生前友好、同事前往送行者不計其數，整個送葬路上人山人海，車馬難行，擁擠不堪，形成了無涯之海洋。其規模之大，盛況之隆，台島前所未有，可謂備極哀榮。胡氏的小腳太太江冬秀抹著眼淚，從窗縫裡看到如此壯觀浩瀚、湧動不息的人潮，甚為感動，也頗覺榮幸，於悲慟中對她的長子胡祖望用原裝的安徽腔說道：“祖望呵，做人做到你爸爸這分兒上，不容易喲！”胡適臨死前的四個月，這位與胡氏同庚並於14歲訂婚，以打麻將推牌九為一生之專業特長和奮鬥目標的江冬秀，才攜帶一張笨重而有點破爛的舊床自美國趕到台灣陪伴身體病弱的丈夫生活。胡適臨終前兩天曾囑咐秘書王志維替自己物色一所房子，並說：“我太太打麻將的朋友多。我在南港住的是公家宿舍，傅孟真先生給中央研究院留下來的好傳統之一，就是不准在宿舍打牌。我也不應該不遵守傅先生留下的規矩。”王志維聽罷，很是感動，第二天便開始想法聯繫。但房子沒有找到，胡氏卻駕鶴西去。王志維在幫助其家人清點遺物時，發現除了書籍、文稿、信件等，胡適生前留下的錢財只有135美元。
胡適的學生、原北大圖書館館長、台灣大學文學院教授毛子水代表治喪委員會為其撰寫了墓誌銘。金石名家王壯書丹。墓誌文字平易又含義深長，樸素而又莊嚴，文情並茂，堪稱逝者生前倡導的白話文的至高境界，銘曰：
這是胡適先生的墓生於中華民國紀前二十一年卒於中華民國五十一年這個為學術和文化的進步，為思想和言論的自由，為民族的尊榮，為人類的幸福而苦心焦慮，敝精勞神以致身死的人，現在在這里安息了。
我們相信，形骸終要化滅，陵谷也會變異，但現在墓中這位哲人所給予世界的光明，將永遠存在。
中央研究院胡故院長適之先生治喪委員會立石中華民國五十一年十月十五日胡適突然撒手歸天，消息傳到台大醫院，梅貽琦深為悲痛。兔死狐悲，物傷其類，經此刺激，梅貽琦病情加重，幾度昏迷不醒。當月，其“教育部長”職務獲准辭去。 4月29日，梅氏在病榻上發表了最後一次對清華校友的講話，誠樸謙遜一如往常，只是言語稍有錯亂。 5月4日，由微熱到高燒不退，咳嗽轉劇，任何抗生素都不能控制。 19日，梅貽琦陷入昏迷狀態，體溫升至41℃。如此病況，國民黨高層為之震動，蔣介石聞訊，指示陳誠、蔣經國等組織台大醫務人員全力搶救，延至上午10時50分，終告不治。梅貽琦溘然長逝，亨年73歲。
是日中午，台北各電台首傳噩耗，清華同學數百人聞訊，於驚駭、悲痛中急趨台大醫院奔喪。特二號病房中陰沉暗淡，韓詠華方舉哀室隅，梅的好友、台大教授查良釗則忙於奔走料理，力竭聲嘶。清華校友環列榻前，默對遺體，緬想往日耳提面命之恩，益感此時人天遙隔之痛，無不掩面悲泣。
梅貽琦生前有一個隨身攜帶的手提皮包，入住台大醫院時放在床下一個較隱秘的地方，包裡裝的什麼珍貴東西沒有人知道。梅去世後，秘書在料理後事的同時迅速將手提包封存，後來在有各方人士參加的場合下啟封。當包打開，所有的人都目瞪口呆，裡邊裝的全是清華基金賬目，一筆筆清清楚楚地列著。睹物思人，在場者無不為之感動，有熱淚盈眶者。此時韓詠華才頓悟，梅貽琦沒有任何財產，所有的話都在病床上講完了，所以也就無須寫什麼遺囑了。
5月23日上午舉行公祭，宋美齡親到梅夫人寓所慰問，蔣介石特頒“勳昭作育”挽額，以旌逝者高風亮節之風範，同時遣當局秘書長張群代表致祭。一時間，陳誠、五院院長、各部部長、大學校長，以及各界首長，中外學者親臨致祭者達千餘人。新竹清華大學師生則於正午12時恭祭。按照計劃，逝者遺體將移入新竹清華校園專設的靈堂供師生、好友與各界人士憑弔。當安葬靈車由台大醫院駛入新竹縣時，數万民眾與身穿制服的各校學生，配以自己組織的樂隊肅列道路兩旁，向緩緩駛來的一生獻身教育的偉大學人遺體默致哀悼。梅貽琦遺體下葬地選在新竹清華校園西南區十八尖山之麓，此地倚山面水，居高臨下，俯視全校，遠眺大陸。為紀念梅氏對中國教育事業特別是清華創業的貢獻，台灣當局於這年夏季在新竹清華研究所的基礎上，正式成立了清華大學並招收本科生。同時在校園內為梅貽琦修建了墓園，取名“梅園”。園內建有墓碑兩座，一座正面鐫刻蔣介石題贈的挽額“勳昭作育”四字，背面是“褒揚令”。
另一座正面是羅家倫題寫的“梅校長貽琦博士之墓”，背面是蔣夢麟題撰的碑文。墓的左側建有“梅亭”，園內植有各種名貴花木，其中有杏梅287株，梅花241株，名花草木構成了壯美秀麗的“梅林”，以志世人緬懷紀念。