百姓開初不說，後來曹操暴露了他新任濟南相的身份，並說他此來的目的，正是為了整肅濟南種種惡俗劣行。
一婦女這才忍不住痛哭失聲，向曹操歷數了“天龍教”強迫百姓入教的暴行。凡不入教者，即有被騷擾打殺的可能；凡入教者，除一次性交入教費銀五十兩外，還要每月進祠上香敬貢一次，貢銀不得低於五兩。也就是每個教民除第一次交五十兩白銀外，每月還要交五兩白銀。所有百姓都為此叫苦不迭，許多人被搞得家破人亡。也有實在交納不起的，深夜舉家遠逃。但要是被“天龍教”的人抓住，就要以褻瀆龍神的名義，在祠門前處死。
曹操聽了震驚不已，當即安撫幾位百姓，說他定於近日整肅此事。
一個中年男子出於好心，就勸曹操道：“大人有所不知，這陳天龍是得劉章寵幸的，而劉章是皇親，權勢很大，大人怕是不好對付啊……”曹操聽了十分生氣，但他按壓住了怒火，他不必氣壯如牛，去說大話，而是要以實際的行動，使老百姓親眼見到。於是他十分冷靜地點了點頭，說：“我知道了，你們不必多慮，我自有辦法。”
曹操當天就拜訪劉章。劉章對曹操的名字早有知曉，當年曹操在洛陽北城門處死蹇碩叔父蹇昌，消息就很快傳到劉章耳朵裡。這事連同曹操的名字，就深深烙印在了心中。所以聽說曹操任濟南相時，他心中就有些打鼓。這時，聽僕人來報，曹操來訪，正在後廳靜心養息不願見人的劉章不由得一驚，連忙出迎。
劉章從未見過曹操，心想不知是何等高大威嚴的一個人物。及至見了，才大為吃驚，居然是一個矮小膚黑的人。但是，雖矮卻很壯實，膚黑卻兩眼有神氣。特別是說起話來，聲音朗朗，有一股不易覺察的逼人氣勢，使聽者不知不覺中為之折服。因此，劉章又有些畏怯了，特別是聯想到他為騎都尉率幾千騎兵馳騁衝殺的壯舉，更是膽寒生畏。
曹操自然是以尊敬的口吻向劉章問好，劉章當然也對曹操表示了熱烈的歡迎之意。二人一陣寒暄，互相交談了洛陽和濟南的一些情況。最後，曹操拱手道：“此次曹操初任濟南相，還望皇親大力支持。曹操雖才力不濟，但為漢室天下，努力盡心盡職是辦得到的。今既來之，則必安之，則必盡責為之，皇親定當以漢室社稷為重，不吝指教才是。”
劉章道：“那是當然，那是當然。曹相乃能人也，今朝廷既委以此任，想必已是看中了曹公的才幹。此真濟南人之幸也！”
曹操哈哈笑了：“皇親真是誇獎了。不過我決不會有負朝廷之命，定當秉公辦事，努力治好濟南。日後如有不妥之處，還望皇親以國家為重，多加包涵。”
劉章不由得心中一顫，曹操話中那一股逼人之氣，猶如強風一道，直穿人心。於是他除了附和，不知再說什麼的好，直到曹操起身告辭，他還沒有回過神來。
事隔一天，濟南城內就貼出了一道禁令，禁令說：我漢室以孔學為尊，儒術為效，其餘一切妖言邪說，盡皆禁止。凡有任何教派組織，從禁令發布之日起，即停止活動，三日之內全部解散。違令者一律處以重刑。
禁令一出，濟南百姓，盡皆拍手稱快。各種教派多是民間組織，以自願為主，並不強迫，因此逐一解散也並不難。唯獨天龍教，已成大氣候，並且組織嚴密，具有強權，若它能解散，百姓怎不高興?但私下里又很擔心，天龍教主與劉章關係親密非同一般，曹操有這個能耐把“天龍教”解散嗎?
第一天過去了，天龍教祠仍是香煙繚繞，雖上香進貢的人比往日少了許多，但還是有人來。因為天龍教祠並沒有關上大門，那些十分害怕陳天龍的膽小百姓，當然不敢不來上香。
顯然陳天龍是仗勢劉章，他在心中掂量過，你個濟南相，怎敢和皇親抗衡?所以他不僅不關大門，反而驅使幾個小頭目不斷進祠上香，以維持場面。
第二天過去了，百姓來上香進貢就比第一天多了。既然教祠內香火未斷，就說明天龍教是不怕這道禁令的，所以第一日未來的百姓，第二日又趕來了。
到第三天，天龍教祠上香進貢的人大增，百姓紛紛趕來，表示自己的“忠心”，生怕陳天龍怪罪下來，一家人便不得安寧。
正當天龍教教祠香煙如霧，人聲鼎沸之時，一大隊全副武裝的士兵來了，曹操騎在一匹高頭大馬上，腰間佩劍，左手執鞭。
祠外百姓最先看見，紛紛躲閃。曹操並不管百姓，揚鞭一指，軍士便分作兩支，包圍了教祠。祠內上香者這才知道，頓時一片驚慌失措。
曹操策馬來到教祠門前，喝道：“百姓人等，不必驚惶。今天龍教教祠不遵禁令，特來查封。除教主及教祠頭目，餘等一概無事，依次離開教祠便罷。”
曹操話一說完，上香者就紛紛湧向門外。曹操叫軍士將百姓列隊，一一出門，凡是頭目，一概拘留。原來曹操早選了幾個識得天龍教大小頭目的人摻在軍士中。
因此，包括陳天龍在內的天龍教大小頭目十餘人，一個也沒有漏掉。全部用繩索捆了，結成一串。然後，收繳教祠內的所有銀兩，再將教祠大門以封條封了。
剛剛關押了陳天龍等人，曹操即刻又草擬第二道禁令，禁令說：自前禁令發布，所有教派，自行停止，然有極少頑固之徒，仍是置若罔聞。今已第三日最後期限，凡有迄未從令者，一概拘禁，將分別情形，處以重罰。罰處之事，屬官府內務，任何人不得乾預，凡徇私說情者，打五十軍棍。