楚莊王的孫子楚平王即位之後，楚國漸漸衰落了。公元前522年，楚平王要把原來的太子建廢掉。這時候，太子建和他的老師伍奢正在城父（在河南襄城西）鎮守。楚平王怕伍奢不同意，先把伍奢叫來，誣說太子建正在謀反。
伍奢說什麼也不承認，立刻被關進監獄。
楚平王一面派人去殺太子建，一面又逼伍奢寫信給他的兩個兒子伍尚和伍子胥，叫他們回來，以便一起除掉。大兒子伍尚回到郢都（今湖北江陵西北），就跟父親伍奢一起，被楚平王殺害。太子建事先聽到風聲，帶著兒子公子勝逃到宋國去了。
伍奢的另一個兒子伍子胥，也從楚國逃出來，他趕到宋國，找到了太子建。不巧宋國發生內亂，伍子胥又帶著太子建、公子勝逃到鄭國，想請鄭國幫他們報仇。可是鄭國國君鄭定公沒有同意。
太子建報仇心切，竟勾結鄭國的一些大臣想奪鄭定公的權，被鄭定公殺了。伍子胥只好帶著公子勝逃出鄭國，投奔吳國（都城在今江蘇蘇州）。
楚平王早就下令懸賞捉拿伍子胥，還叫人畫了伍子胥的像，掛在楚國各地的城門口，囑咐各地官吏盤查。
伍子胥帶著公子勝逃出鄭國後，白天躲藏，晚上趕路，來到吳楚兩國交界的昭關（在今安徽含山縣北）。關上的官吏盤查得很緊。傳說伍子胥一連幾夜愁得睡不著覺，連頭髮也愁白了。幸虧他們遇到了一個好心人，叫東皋公，東皋公同情伍子胥，把他接到自己家裡。東皋公有個朋友，模樣有點像伍子胥。東皋公讓他冒充伍子胥過關。守關的逮住了這個假伍子胥，而那個真伍子胥因為頭髮全白，面貌變了，守關的認不出來，就被他混出關去。
伍子胥出了昭關，害怕後面有追兵，急忙往前跑。前面有一條大江攔住去路。伍子胥正在著急，江上有個打魚的老頭兒劃著一隻小船過來，把伍子胥渡過了江。
過了大江，伍子胥感激萬分，摘下身上的寶劍，交給老漁人，說：“這把寶劍是楚王賜給我祖父的，值100兩金子。現在送給你，好歹表表我的心意。”
老漁人說：“楚王為了追捕你，出了5萬石糧食的賞金，還答應封告發人大夫爵位。我不貪圖這個賞金、爵位，難道會要你這寶劍嗎？”
伍子胥連忙向老漁人賠禮，收了寶劍，辭別老漁人走了。
伍子胥到了吳國，吳國的公子光正想奪取王位。在伍子胥幫助下，公子光殺了吳王僚，自立為王。這就是吳王闔閭。
吳王闔閭即位之後，封伍子胥為大夫，幫助他處理國家大事。
公元前506年，吳王闔閭拜孫武為大將，伍子胥為副將，親自率領大軍，向楚國進攻；他們連戰連勝，把楚國的軍隊打得一敗塗地，一直打到郢都。