常言道，伴君如伴虎，一不小心，即可能招致殺身之禍。衛青北伐匈奴，立下赫赫戰功，他善於為人處事、明哲保身，令人無可挑剔，古人詩云“衛青不敗由天幸”實在是委屈了衛青。
衛青出身卑賤，其母在平陽公主家做女僕，因丈夫姓衛，她就被稱為衛媼。衛青是衛媼與平陽公主家小吏鄭季私通所生，後衛媼將衛青送至鄭家，鄭家竟以奴僕相待。衛青長大後，不願再受鄭家的奴役，便回到母親身邊。平陽公主看到衛青已長成了一個相貌堂堂的彪形大漢，非常喜歡，就讓他做了自己的騎奴。每當公主出行，衛青即騎馬相隨，雖然沒有一官半職，但與在鄭家時的情景相比已是天壤之別。衛青聰明好學，漸漸學到了一些文化知識，懂得了一些上層階級禮節。他怨恨鄭家對他沒有一點親情，決定冒姓為衛，完全與鄭家斷絕關係。
公元前139年春，衛青的姐姐衛子夫被漢武帝選入宮中，衛青也被召到建章宮當差，這成為衛青一生中的轉折點。
衛子夫入宮不久，就有了身孕，引起了陳皇后的嫉妒。陳皇后就是漢武帝姑姑的女兒，當年曾讓他許下“金屋藏嬌”誓言的陳阿嬌，與漢武帝成親後，被立為皇后，但一直未能給漢武帝生一個兒子。她擔心衛子夫一旦生下的是個男孩，那就會被立為太子，而衛子夫也就會因此青雲直上，成為皇后，這對她的地位無疑是一個很大的威脅。但是，當時衛子夫正得漢武帝的寵幸，陳皇后對她不敢加害，就找母親大長公主訴屈。大長公主是漢武帝的姑姑，為了給女兒出氣，就嫁禍於衛青。她找了一個藉口，把衛青抓了起來，並準備處死。衛青當騎奴時結識的好友公孫敖聽到了消息，馬上召集了幾名壯士，趕往搶救，把衛青救了回來。公孫敖還派人給漢武帝送信，告知此事。漢武帝得知後，大為憤怒，索性召見衛青，任命他為建章宮監、侍中。不久，漢武帝封衛子夫為夫人，提升衛青為太中大夫。
公元前129年，匈奴又一次興兵南下，前鋒直指上谷（今河北省懷來縣）。漢武帝任命衛青為車騎將軍，迎擊匈奴，從此，衛青開始了他的戎馬生涯。
衛青首次出征，即直搗龍城（匈奴祭掃天地祖先的地方），斬首700人，取得勝利。另外三路，兩路失敗，一路無功而還。漢武帝由此愈加器重衛青，封他為關內侯。
衛氏一門顯赫後，京城中有歌謠說：“生男無喜，生女無怨，獨不見衛子夫霸天下”。其實不然，在兩漢時期，左右朝政的外戚大多是靠裙帶關係居高位的，而衛青、霍去病卻是出生入死，浴血奮戰，為國家做出了重大貢獻。正因為如此，即使後來衛皇后失寵，二人在朝廷的地位也絲毫未受影響。
第二次出征，是在衛青之姐受封為皇后之後，衛青再次以車騎將軍的身份，率領３萬騎兵，從雁門關出擊，斬首數千人。第３次在翌年元朔二年出擊雲中，壓制了河套地方，斬首數千，捕獲了牛羊百餘萬頭，擊退匈奴的白羊王，而樓煩王也敗走，漢朝在河套設立朔方、雲中等郡，衛青被封為長平侯（3800戶）。公元前124年，衛青率領6個將軍和10餘萬騎兵，從河套深入塞外攻擊。第４次出征，目標是匈奴右賢王。公元前123年，衛青為大將軍，同樣率領6個將軍，10餘萬騎的軍隊，兩次出擊匈奴，均大勝而歸。
家奴出身的衛青成了貴極人臣的大將軍，朝中官員無不巴結奉承。這時，平陽公主寡居在家，要在列侯中選擇丈夫，許多人都說大將軍衛青合適。平陽公主笑著說：“他是我從前的下人，過去的隨從，怎麼能做我的丈夫呢？”左右說：“大將軍已今非昔比了，他現在是大將軍。姐姐是皇后，三個兒子也都封了，富貴震天下，哪還有比他更配得上您的呢？”漢武帝知道後，失笑道：“當初我娶了他的姐姐，現在他又娶我的姐姐，這倒是很有意思。”於是當即允婚，時遷事移，當年的僕人做了主人的丈夫。這樣一來，衛青與漢武帝親上加親，更受寵信。但衛青為人謙讓仁和，敬重賢才，從不以勢壓人。
霍去病成長起來以後，漢武帝對霍去病恩寵日盛，他的聲望超過了舅舅衛青，過去奔走於大將軍門下的許多故舊，都轉到了霍去病門下。衛青門前頓顯冷落，可他不以為然，認為這也是人之常情，心甘情願地過著恬淡平靜的生活。
公元前106年，大司馬大將軍衛青去世，漢武帝命人在自己的茂陵東邊特地為衛青修建了一座像廬山（匈奴境內的一座山）的墳墓，以像徵衛青一生的赫赫戰功。