如上面所說，孔孟推祟王道，即賢人政治，是不得已，因為他們想不到，不用王、諸侯、大夫、士庶的形式，還可以組成社會，人們也能活。人，在閉關自守的時代，跳到時風和傳統之外，以某種理為根據，另想出一套生活方式，是很難的。儒家有社會方面的理想，理想的背後當然也有理，但這理是在承認實際情況的前提之下樹立起來的，它的道路就必致窄得可憐。這是因為理想扭不過實際。實際是一，近看，君王行仁政就可以垂衣裳而天下治只是幻想，實際並沒有這麼回事；二，遠看，君王登上寶座，就會有各種形色的人．用各種方式，說，喊，寫，印，歌頌他是聖賢，而這聖賢，在一片歌頌聲的掩護之下，就更可以為所欲為。這樣，賢人政治的理想，進一步就反而幫了專制君王的忙，因為它不反對，並積極主張，“天下有道，則禮樂征伐自天子出。”
難道就沒有賢人嗎，或聖賢嗎？這個問題很複雜。聖，理想成分更多，且放過不管。只說賢，主要是就人品說的。本質加修養構成人品，要好到什麼程度就可以稱為賢，其下就是不賢呢？人，絕大多數是中間的，有理想，也有七情六欲，因而晨起聞雞即使起舞，入夜燈紅也可能興致勃勃地走進賭場。或者用道德學家的標準，說生活之道，多利他的是賢，多利己的是不賢，這樣，賢的一群裡邊就為數不多了吧？如果竟是這樣，一個無法克服的困難就來了，那是，有什麼辦法能夠讓賢人登上寶座。孔孟沒有辦法，也沒有覺得這裡面還有問題，所以向來不講登上寶座之前的事，而是接受既成事實，然後想辦法。自然，辦法就只能是希望加磕頭。這又是可憐，因為希望不希望．磕頭不磕頭，雖然由你，接受不接受卻完全由他。接受，要有條件，是他賢，所以最好是能夠想出辦法，保證只有賢人才能登上寶座。問題是不能取得這樣的保證，因為：一，比如可以用抽籤法，就還有概率論管著，賢人登上寶座的機會必是不多；二，何況事實是，創業者都是馬上得之，賢人是不大能上馬的，其後是父終子及，這個子，在錦繡堆中長大，賢的可能究竟有多少呢？
其實，賢人政治的此路不通，還有更深遠的理由，那是，政治是街頭巷尾的大眾的事，大眾是常人，講管理就不能不面對常人。常人有常情。這常情究竟是什麼樣子，也是仁者見仁，智者見智。孟子說，側隱之心，人皆有之，側隱之心，仁也，禪宗和尚設想，自性清淨，見性成佛，都是理想主義者的看法，當作高山仰止的目標，也許不只應求，而且可敬。不過管理眾人的事，就不能不多面向實際。實際是什麼？那是荀子說的：
人生而有欲．欲而不得則不能無求，求而無度量分界則不能不爭，爭則亂，亂則窮。先王惡其亂也，故制禮義以分之，以養人之欲，給人之求，使欲必不窮乎物，物必不屈於欲，兩者相持而長，是禮之所起也。 （《荀子?禮論》）
這段話講禮的起源，是用務實和空想兩隻眼睛看的，因而看到的容貌前後不同。前一半看到的是常情，人都出淤泥而染，或乾脆說沒出息。後一半忽然來個有出息的先王，制禮，以求變沒出息為不亂。這思路混亂來於儒家的一貫迷信有所謂聖王，於是在孔孟的眼裡，人就可以分為有距離的兩類，好的和差些的，因為性相近也．習相遠也。這距離到荀子就加大，成為背反，常人是有欲而爭，聖王，大概既無欲又不爭吧，所以能製禮以救世。這裡的問題是，聖王是不是“人生而有欲”的人。不能起荀子而問之；為了各取所需，這裡決定捨其後半而取其前半。 “人生而有欲”，之後是有求有爭。求什麼了古人看得簡單，是“飲食男女，人之大欲存焉”。這由出發點說不錯，甚至可以說抓住要害。飲食的所求是延續生命，男女的所求仍是延續生命，所以說天地之大德曰生。但是求，有得有不得．必伴有感情的快樂和痛苦，於是欲的力量加大。這一大，就很容易越過出發點，膨脹到飲食男女以外，如張獻忠，想殺人，希特勒，想征服世界。這是一發而不可遏。新奇嗎？一點也不，因為是常人的常情。
到近代，西方出了個弗洛伊德學派，也稱精神分析學派，深入研究這常人的常情，著作不少，影響不小。與中土的為進德修業而講人講人性相比，他們是少用想像，多用解剖刀。雖然解剖的結果，不同的人所見未必盡同，並且，派外的心理學家未必都同意，一些小異而大同的論點卻很值得生而為人的人三思。這論點是，人與其他動物一樣，受有大力的慾望支配，如果慾望不能滿足，就會用各種辦法（包括寫詩、作夢甚至發狂）以求滿足。這看法是不可意的，因為從其中我們會理出這些內容：其一，這樣的常人常情，離聖賢遠了，離禽獸近了，比如說，清夜深思，自己也是充滿慾望的動物，受得了嗎？其二，慾不可抗，不任之會帶來痛苦，任之會造成禍害（對人，或兼對己），可怕。其三，應該接受儒家的教訓，節制，可是慾望的力量太大，收效並不容易。其四，處世和治世就成為更難。
難不難，可意不可意，是一回事；既然有生，就不能不求活得如意，至少是可忍，是另一回事。這意思是，我們要知其不可而為。事實是，也許由可以稱為“人”的時代起，我們就這樣做了。飲食的大欲沒有變，可是信，至少是說，應該不輕視菜根。男女的大欲也沒有變，可是要求發乎情，止乎禮義。在這種有理想兼肯努力的情況下，我們創造了文化中的重要部分．或說文明的重要部分，或乾脆說道德的觀念和行為。總而言之，雖然常情是“人之所以異於禽獸者幾希”，卻並不是病入膏育，不可救藥。
可救是樂觀的一面。但也不要忘記，常情終歸是常情，救，並不容易。具體說，道家推重的節欲，儒家推重的節制，都是高標準，要求時時處處合，就個人說是非常難，就全社會說是不可能。所以講修齊治平，時時要記住，我們面對的是常人，常人有常情。這樣看，無論立身處世還是治世，理論和辦法，就應該與相信“人皆可以為堯舜”大不同。
先說立身。記得有一句似雅而實刻的罵人的話，是“找個鏡子照照”。其實就是應該找個鏡子照照。最好是用弗洛伊德學派的，一照就照見，自己原來是常人，有常情，因而就很容易順流而下。怎麼辦了破罐子破摔當然不對。應該一，謙遜，因為受慾望的指使，求這求那，求而不得就煩惱，自已正是跟別人一樣，甚至更差；二，警惕，因為不是性本善，而是性本病，就應該時時謹慎，以求不犯病；三，要知其不可而為，對於寡慾和節制，不只心嚮往之，還力求接近；四，最好是再積極些，“己欲立而立人，己欲達而達人。”
再說處世。這包括對己身之外的人和事，過於復雜，只好說個原則。原則的基礎也是那面鏡子，照見的人都是常人，有常情。因而對這樣的人，就一，不要抱過高過多的希望，因為人非聖賢，孰能無過；二，對於小德出入可也的過，可以多諒解，因為他也是生而有欲，照叔本華的看法，也是苦朋友，值得同情。
最後說治世。這是眾人的事．眾人也可以用那面鏡子照，也應該用那面鏡子照。自然，一照就照見常人．照見常情。這會有什麼影響嗎？不只有，而且相當大。總的說，賢人政治要換為常人政治：管理者是常人，受管理者也是常人。就管理者說，因為是常人，未必（也不當要求）是賢人，所以一，他的想法和行事，就既可能對，又可能錯；二，歷史上無限的事實可證，權力有限（如學官），做壞事的可能性小，權力無限（如皇帝），做壞事的可能性大；三，防止做壞事，專靠有常情的常人不成，要有不容許做壞事的機製或制度；四，不容許的實質或辦法是限權，這意味著管理者是分工來管事，不是統率眾人的救世主。就受管理者說，因為是常人，有常情，就不只可能爭，而且可能亂。對付爭租亂，法重要。尤其重要的是德，德是節制自己、兼顧他人的力量，其結果是少爭，也就少亂。所以治世，應該把提高人民文化教養看作頭等重要的事。
總括以上，這有常情的常人就具有兩面性：一面，就天命之謂性說是“常”，不希奇，也不高貴；另一面，就修道之謂教說是“人”，因而就可以奉行人文主義，不同於禽獸（用世俗義）。