任正非1944年出生在貴州省鎮寧縣一個貧困的小村莊，兄妹7個，他排行老大。任正非的爺爺任三和是做金華火腿的大師傅，當時在浙江省浦江縣很有名氣。任正非的父親叫任摩遜，母親叫程遠昭。任摩遜1910年出生，是任家唯一一個讀過大學的文化人。 1931年，任摩遜進入北平民大經濟係就讀，在求學期間正值日本入侵東北，救亡運動高漲，他和很多熱血青年一起參加了共產黨的外圍組織。由於父母相繼病逝，1934年任摩遜回到老家，在一所專科學校教書，還擔任了多年的校長。
抗日戰爭時期，任摩遜曾到廣州的一家生產防毒面具的兵工廠擔任過會計。因為他支持共產黨，又積極宣傳抗日，組織讀書會，引起了國民黨特務的注意。由於戰爭，工廠經廣西輾轉搬遷到貴州桐梓。 1944年任摩遜避開特務追捕，悄悄回到貴州定居。任摩遜雖然很早就參加了共產黨的進步活動，但因為他曾在國民黨兵工廠工作過而沒受到黨組織的信任，歷次政治運動中都要接受改造，反復交代思想問題，直到1958年才被批准入黨。 1995年任摩遜回到闊別半世紀的故鄉，不久去世。
任正非的母親程遠昭具有高中文化程度，在任摩遜的影響下自學成才，後來成為一名優秀的教師，一生陪伴丈夫在貧困山區從事教育事業。為了教書育人，任摩遜、程遠昭夫妻倆謹言慎行，埋頭忘我工作，以至於無暇顧及自己的孩子。他們培養出了不少優秀的人才，其中一些後來成為省、地級幹部和優秀的專家學者。
任正非的青少年時代是在極度貧寒中度過的，他全家9口人全靠父母的微薄收入度日，任摩遜還要給老家的家眷寄生活費。再加上當時全國經濟處於困難時期，糧食嚴重短缺，全家人經常餓肚子，家裡幾個人合蓋一條棉被，在地坑里做飯，貧困的景象連後來來抄家的造反派都目瞪口呆。任正非在19歲之前沒穿過一件新衣服，因為上學的孩子多，每到新學期母親就開始為孩子們的學費發愁，經常要到處向人借錢來維持，而且有時還借不到，因為別人也一樣困難。
即使在這樣的環境下，任正非的父母依然堅持讓7個孩子都上學讀書，沒有讓他們放棄學業幫助支撐家庭。父親一直勉勵任正非好好學習，養成了他勤奮上進、淡泊名利、崇尚知識的心態。
任正非的父母當時都是處於社會最底層的普通教師，而且，在那個時候，教師都是“臭老九”，受人鄙視不說，工資也很少，無法給予孩子們物質和事業上的幫助，留給兒子的只是對知識的熱愛，以及為人父母的舐犢之情。
在這樣的特殊年代，最讓人難以忍受的就是飢餓了。飢餓給上高中的任正非留下了難忘的印象。每天飢腸轆轆令他無心讀書，最大的願望就是能吃一個白面饅頭。雖然為飢餓所折磨，作為老大的任正非卻不敢隨便動家裡的存糧，因為他知道父母也一起挨餓，而且存糧還要留給弟妹們吃。
任正非讀高三的那段日子裡，有時在家複習功課實在餓得難以忍受了，就用米糠和著菜揉一下，放在鍋裡烙著吃。有幾次被父親發現了，父親雖然很心疼兒子，卻也沒有一點辦法。為生存所迫，全家人想方設法尋找食物，種南瓜，採野果，煮菜根，實行嚴格的分餐製，共渡難關。任正非高考前的兩個月，母親每天早晨額外給他一個小玉米餅，支撐他上學讀書。
任正非曾經感慨地說：“如不是這樣，也許我創辦不了華為這樣的公司，社會上可能會多一名養豬能手，或街邊多一名能工巧匠而已。這個小小的玉米餅，是從父母親與弟妹們的口中摳出來的，我無以報答他們。”
1963年，19歲的任正非考上了重慶建築工程學院（現併入重慶大學），但這時家裡的經濟狀況就更加捉襟見肘，弟妹的處境也更加艱難。母親竭盡全力為兒子準備的兩件襯衣和一條拼接起來的被單，陪伴他度過了4年艱苦的大學生活。
任正非讀大二的時候，“文化大革命”爆發，父親被關進了牛棚。任正非扒火車偷偷回家看望父母。因為沒有票，他在火車上捱過上海造反隊的毒打，補票也不行，硬是把他推下了車。因為沒買車票，被推下車後又捱過車站工作人員的打罵，後來半夜步行十幾里回到家裡。父母見他回來了，來不及心疼，讓他明早一早就走，怕人知道，受牽連，影響兒子的前途。任正非第二天一大早就趕回學校，臨走時，他父親叮囑道：“記住，知識就是力量，別人不學，你要學，不要隨大溜，以後有能力要幫助弟妹。”他父親還脫下自己的一雙舊皮鞋送給他穿。
據任正非回憶，他背負著父親的重托，回到重慶後已經是“槍林彈雨的環境”。但是他還是靜下心來，把電子計算機、數字技術、自動控制等課程全部自學完了。
在學校裡，任正非結識了幾位西安交大的老師，這幾位老師經常給他一些油印的書看。任正非還自學了3門外語，當時他已經可以閱讀大學的外語課本。他現在去歐美考察，洽談業務可以不帶翻譯。
這樣一個清貧的教師家庭對任正非的價值觀產生了深刻的影響。貧窮是老師，它教會人如何得以生存。中國許許多多的成功者都有過貧窮的經歷，因此養成了吃苦耐勞、堅韌不拔的優良品格，而這往往就是他們創業時期的爆發力所在，貧窮也因此被稱為成功者的“財富”。這也為他創立華為，並把華為帶上獨立自主的實業之路奠定了很好的基礎。
任正非認為正是父母的無私才保證了所有子女能夠生存下來。他說：“華為的成功，與我不自私有一定關係，而這是從我父母身上學到的。”
1997年，我國改革高等教育制度，開始向學生收費，而配套的助學貸款又沒跟上，任正非向教育部捐獻了2500萬元，設立了“寒門學子基金”，以資助貧困學生。對知識的尊重，是中國知識階層的教育傳統，也是經歷過“文化大革命”的一代知識分子，對被扭曲了的文化觀念的修正，而經歷著貧窮的發展中國家和人民，更能感受到尊重知識的重要性。從這個角度說，任正非的“寒門學子基金”，意義等同於“希望工程”。當時，有人提出來，基金的名字是否叫“優秀××基金”，任正非不以為然地說：“出身貧寒並不可恥，高貴而沒有知識也不光榮。”他還指示華為人力資源部門要優先招收出身貧寒的大學生。他說：“貧寒的學生更能吃苦耐勞，在工作中更加能夠經得起挫折和磨難。”
雖然少年時代歷經磨難，但這也很好地培養了任正非吃苦耐勞、艱苦樸素和勤勉上進的優良品格。 20多年來，他一直保持著勤儉節約的傳統，個人生活十分簡樸。他沒有保鏢，沒有專車，沒有私人秘書，每天自己開車按時上下班。他使用的是自己公司生產的華為牌手機；他自我稀釋股份，讓公司員工持股；他平易近人，樸實無華，經常到食堂和員工們一起吃工作餐，在任正非的身上你找不到一點大老闆的派頭。這些品格因素在不知不覺中促使華為快速崛起，發展成為一家偉大的企業。