董作賓到達安陽後，通過實地調查得知，小屯地下埋藏的有字甲骨，並不像羅振玉等人所說的已被挖盡，他從當地農民盜掘甲骨留下的坑痕作出判斷，殷墟規模龐大，地下遺物十分豐富，且遺址破壞嚴重，有組織的科學發掘已到了刻不容緩的緊要關頭。董氏在寫給傅斯年的報告中頗為焦慮地宣稱：“遲之一日，即有一日之損失，是則由國家學術機關以科學方法發掘之，實為刻不容緩之圖。”
傅斯年得知安陽殷墟地下寶藏既豐且富的報告，驚喜交加，馬上籌措經費，購置設備，調配人員，在中央研究院院長蔡元培大力支持下，組成了以董作賓為首的殷墟發掘團，開往安陽小屯進行田野考古發掘。其成員有李春昱、趙芝庭、王湘、張錫晉等，另外還有一名董作賓的同鄉同學，時任河南省教育廳秘書的郭寶鈞。這次以尋找甲骨文為主要目的有組織的殷墟發掘，自1928年10月7日開始，至31日結束，前後共進行了24天，發掘土坑40個，揭露面積280平方米，掘獲石、蚌、龜、玉、銅、陶等器物近3000餘件，獲甲骨854片，其中有字甲骨784片，另有人、豬、羊等骨架出土。董作賓作為本次發掘的主持人，手抄有字甲骨392片，並作了簡單的考釋，這個成果與他前期的調查報告，共同在後來史語所創辦的《安陽發掘報告》中作為首篇文章刊載。此次發掘與著述的問世，“不僅結束了舊的古物愛好者'圈椅研究的博古家時代'，更重要的是為有組織的發掘這著名的廢墟鋪平了道路。”當然，早年畢業於北京大學國學門，未受過西方近代考古學正規訓練的董作賓，所帶領的發掘隊員皆是一群土包子書生，且將發掘的主要精力用在尋找帶字甲骨上，其它器物甚少顧及，這樣就出現了一些疏漏甚至笑話。許多年之後，已成為著名考古學家的夏鼐說道：“我在1935年參加殷墟發掘時，還聽說過一個關於董作賓1928年主持初次發掘時'挖到和尚墳'的故事。書齋中出來的董作賓，從來沒有看見過出土的骷髏頭，只從筆記小說中知道死人身上頭髮是最不易腐朽的。所以，他發掘到一座時代不明的古墓時，便認為頭上無發的墓主人一定是一位和尚。骷髏頭猙獰可怕，所以仍被埋起來。到了李濟、梁思永主持發掘時才注意到人骨標本的採集，並且用科學的採集方法和保存方法。”
或許正是由於以上的缺憾，沒有喝過洋墨水的董作賓感到惶恐不安，並有中途換將，由周身散發著海腥味的大字號“海龜”李濟出任第二次發掘主持的因緣。按照蔡元培後來的說法：“董先生到了那裡，試掘了一次，斷其後來大有可為。為時雖短，所得頗可珍重，而於後來主持之任，謙讓未遑。其時，適李濟先生環遊返國，中央研究院即託其總持此業，以李先生在考古學上之學問與經驗，若總持此事，後來的希望無窮。承他不棄，答應了我們，即於本年（1929年）二月到了安陽，重開工程。”
對於這段記載，李濟的弟子，後來成為美國哈佛大學人類學系主任的考古學家張光直，對其所作的補充註釋是：“33歲的李濟先生在那時的學術界已經有了相當的聲望。據說傅斯年先生在物色考古組主任與安陽殷墟主持者的時候，最後的兩個候選人是李濟先生與著名的金石學家馬衡先生。當時48歲的馬衡先生是北京大學國學門考古學研究室主任和故宮博物院副院長，是中國傳統金石學最優秀的代表。在這兩位候選人中，蔡元培先生最後選定了代表科學考古的李濟先生。夏鼐先生說：'後來證明這選擇是明智的'，這就是因為李濟先生把殷墟發掘領導到一個新的方向上去，也就是把中國考古學帶到了一個新的方向上去。”
張光直所言大體不差，只是不夠深入和全面，具體細節上與事實亦有出入，如當時的馬衡並未出任故宮博物院副院長，只是此前曾出任過故宮博物院理事與下屬的古物館副館長，另外還有一個掛名的故宮維持會委員等職。他被拒於史語所大門之外，與蔡元培沒有多大關係，完全是傅斯年的把戲。個中原因，除了馬衡屬於金石學家一派，學術觀念陳舊，與西洋的新式科學派學者相比屬於不“預流”者，還有一個不可忽視的原因，便是傅斯年與他尊崇的老師胡適，對北京大學極其強大的浙江派或曰法日派這個呼風喚雨、聲威赫赫的派系大為反感。傅除了對北大校長蔡元培，教務長馬寅初以及後來成為中研院代院長的朱家驊稍加敬佩外，對此前或之後北大文科方面所謂的“三沈二馬加二週”等等著名健將，不管被時人或後人譽為“投槍”還是“匕首”，是“戰士”還是“民族魂”，傅斯年皆無好感。原與傅關係稍好一點的周樹人（魯迅），在中山大學時已變成你死我活的敵人，其他大同小異，沒有往來，而處在這一派系中的馬衡自然受到牽累。
儘管馬衡在這一派系中為人低調，頗有人緣，且以經史、金石、漢魏石經等學問聞名學界，但畢竟只是南洋公學出身，不可能具備歐美派“海龜”的學術眼光與氣度。當時心高氣傲的傅斯年崇尚的是胡適、陳源等歐美係出身的“海龜”，對那些未跨出國門即在圈內成名成家的“泥腿子”、“土包子”或“土鱉”之類三六九等各色人物，傅氏不屑一顧，倘為了工作或其他關係雙方不得不接觸時，傅亦經常用英文或中英文混雜的言辭與對方講話，藉以戲弄那些未出國留洋，不懂英語的土包子們。此時已近知天命之年的馬衡，在傅斯年心目中的地位和形像是不言自明的。而北大法日派在考古學的建設上也顯得老態龍鍾，暮氣沉沉，遠沒有以清華李濟為首的歐美派更具科學銳氣。因了法日派日薄西山與清華園中學者的旭日東昇，朝氣蓬勃，以及勢不可擋的銳氣，傅斯年無論從心理的好惡還是實際需求來考慮，最終選擇了掌握西方先進田野考古方法的歐美系李濟，而不是金石學家的“大老土”馬衡，實則是歷史的必然。或許由於這段因緣，20年之後，當李濟在戰火紛飛，炮聲隆隆的生死抉擇中，毅然決然押運中央研究院史語所、中央博物院、故宮博物院等多家集成的珍寶名器跨越台灣海峽，安全抵達台北基隆港時，以馬衡為首的“老土們”，在北平與南京之間呼天搶地，奔走嘯叫，堅決反對文物隨國民政府運台等等，也就找到了一個歷史的根由和註腳。
遭到傅斯年拒絕的馬衡被弄了個灰頭土臉，退回北大國學門，再也沒有吭聲。接到蔡元培與傅斯年邀請的李濟，遂辭卻其他一切職位，以中央研究院史語所考古組主任的身份，立即赴河南與正在那裡的董作賓見面協商發掘事宜，並對殷墟遺址有了進一步認識，作出了三個方面極具科學眼光的天才設定：
小屯遺址明顯是殷商時代的最後一個首都。
雖遺址範圍未確定，但有字甲骨出土的地方一定是都城遺址的重要中心。
在地下堆積中與有字甲骨共存的可能還有其它類遺物，這些遺物的時代可能與有字甲骨同時，或早或晚，當然要依據埋藏處多種因素而定。
根據以上三個設定，李濟制定了第二次小屯發掘計劃，並憑藉此前與畢士博合作的良好關係，得到美國弗利爾藝術館的經費支持。在董作賓密切配合下，李濟率領考古隊來到安陽小屯，於1929年春季和秋季分別進行了第二次和第三次發掘，陸續發現了大批陶器、銅器與3000餘片甲骨、兩大獸頭刻辭與聞名於世的“大龜四版”（南按：一個完整的刻滿文字的烏龜殼）。尤其引人矚目和振奮的是，這年的11月21日，李濟於一堆碎片中發現了一片彩陶——這是安陽殷墟在抗戰前全部十五次發掘中，所記錄出土25萬塊陶片中唯一的一片具有仰韶文化性質的彩陶。對於這一異乎尋常的發現，20年之後，李濟曾專門撰寫論文指出它在中國歷史研究中的重大價值和意義：“在開始這一工作時，參加的人員就懷抱著一個希望，希望能把中國有文字記錄歷史的最早一段與那國際間甚注意的中國史前文化連貫起來，作一次河道工程師所稱的'合龍'工作。那時安特生博士在中國所進行的田野考古調查工作已經到了第十個年頭了。這一希望，在第三次安陽發掘時，由於在有文字的甲骨層中一塊仰韶式彩陶的發現，大加增高。現在事隔二十年了，回想這一片彩陶的發現，真可算得一件歷史的幸事。”又說：“要不是終日守著發掘的進行，辛勤地記錄，這塊陶片的出現，很可能被忽視了。有了這一發現，我們就大膽地開始比較仰韶文化與殷商文化，並討論它們的相對的年代。”
1930年春，當史語所準備對殷墟再度進行發掘時，不祥的預兆接踵而至，河南地面大雨、冰雹成災，所降“冰雹大者數斤，小者如雞卵”。這場災難過後，接著出現旱災，導致河南全境“每天平均餓死1000餘人”。此前，以李濟為首的中研院殷墟發掘隊與河南地方勢力為爭奪出土器物而大鬧糾紛，使發掘陷於困難。隨後爆發的中原大戰，使河南一帶成為閻錫山、馮玉祥等地方軍閥組成的聯軍，與蔣介石為首的國民政府中央軍拼殺的主戰場。中央研究院史語所原定對安陽殷墟的第四次發掘計劃，在大砲轟鳴，硝煙瀰漫，血肉橫飛、新鬼添怨舊鬼哭的風雲激盪中化為烏有。
既然河南不能發掘，李濟決定率部轉移到山東臨淄故城一帶，欲開闢新的發掘工地。當在臨淄勘察後，感覺“問題太複雜了，絕非短時期可以料理得清楚的”。正在李濟等人猶豫之際，突然傳來了城子崖發現古遺址的消息，而遺址的發現者，正是清華研究院時代李濟唯一的一位攻讀人類學與考古學的研究生吳金鼎。
1928年春天，時任山東齊魯大學助教的吳金鼎利用業餘時間進行田野調查，在濟南東約60餘里的歷城縣龍山鎮一個叫城子崖的地方，發現了一處黑陶文化遺址。驚喜之餘，吳金鼎及時把這一情況報告給自己的導師李濟。李濟喜出望外，立即趕赴濟南隨吳金鼎到現場察看，意識到這是一處極其重要的歷史文化遺址，遂立即“決定選擇城子崖作山東考古發掘第一個工作地點。”
1930年秋，中原大戰硝煙尚未散盡，李濟與董作賓率師走出安陽，移駐山東濟南城子崖開始首次發掘。考古人員發現遺址中明顯具有新石器時代特徵，所出土的文物與仰韶文化風格迥異，其中發現最多的黑陶和灰陶器具，幾乎完全不同於河南、甘肅的彩陶，器形也沒有相同之處。而發掘所得的最具特徵的“蛋殼陶”，通體漆黑光亮，薄如蛋殼，其製作工藝達到了新石器時代的巔峰，這種工藝作為一種文化標誌——黑陶文化，成為前無古人、後無來者的絕響。
根據發掘成果，李濟等認定其文化遺存屬於新石器時代，在考古學上的價值和意義“不但替中國文化原始問題的討論找了一個新的端緒，田野考古的工作也因此得了一個可循的軌道。與殷墟的成績相比，城子崖雖比較簡單，卻是同等的重要。”由於城子崖遺址地處龍山鎮，考古人員將這一文化命名為——龍山文化。
當中原大戰硝煙散盡，血跡風乾之後的1931年春，李濟率部重返安陽，展開第四次大規模的殷墟發掘。在李濟具體指導下，有計劃地將殷墟遺址劃分為五個大區，每區由一位受過專業科學訓練或有經驗的考古學家指導，以“卷地毯式”的新方法進行發掘。發掘隊除原有的郭寶鈞、王湘等人外，增加了十幾位年輕學者。史語所新招聘的吳金鼎、李光宇來了，河南大學史學系學生石璋如、劉燿（尹達）、尹煥章等新人來了。最令人矚目的是，梁啟超的二公子、被李濟稱為“真正專門研究考古學的人”梁思永，也在這個明媚的春天裡，帶著勃勃生機，神采飛揚地到來了。