耶律大石，字重德，是遼太祖耶律阿保制第八代孫。但青少年時代，身份地位已近似平民，通過祖蔭謀求高位已不可能。他通過努力，成為一個既擅長騎射，又通曉漢文和契丹文的文武全才。
天慶五年（公元1115年），大石考中進士。他首先被任用為翰林應奉，不久又升為翰林承旨。由於契丹語把翰林稱為林牙，從此“大石林牙”也就成了人們對他的習慣稱謂。後來，大石離開朝廷，接連擔任了泰、祥二州（分別在今吉林白城和黑龍江農安東北）刺史和遼興軍（治所在平州，今河北盧節）節度使。
保大二年（公元1122年）三月，在金兵的打擊下，天祚帝倉皇逃入夾山，遼朝統治集團分崩離析。李處溫、回離保等人乘機在南京（今北京市）擁立耶律淳為帝，史稱北遼。因大石擔任節度使的遼興軍正屬南京道，他也就很自然地成了耶律淳制下的官員。
當年五月，宋軍來攻。大石雖殺退了宋軍的進攻，卻終究挽救不了北遼覆亡的命運。保大二年十一月，金兵佔領居庸關，大石與回離保連夜引殘軍擴衛耶律淳的皇后蕭普賢女出古北口西逃。
保大三年二月，大石和耶律淳之妻蕭普賢女在天德軍（呼和浩特市東）找到了流亡在那裡的天祚帝。天祚帝早就對耶律淳夫婦懷恨在心，斥責大石說：“我還沒死呢！你怎敢另立耶律淳！？”大石回答：“陛下以全國之勢不能拒敵，棄國遠遁，使得黎民塗炭。即使擁立10個耶律淳也都是太祖的子孫，豈不比乞命於他人強得多嗎？”一番義正辭嚴的話語駁得天祚帝張口結舌，無言以對，只好赦免了大石的“罪過”，還客氣地賜給他酒食。
接著，天祚帝派大石率軍東下，攻取奉聖州（今河北涿鹿），以牽制金兵。當年四月，大石在龍門東25裡的宿營地遭到金將婁室等部的襲擊，因寡不敵眾，不幸兵敗被俘。
大石在金人的奴役羈絆之下，時刻在尋找逃跑的機會。而金人也一直在打主意，企圖把這個文武雙全的契丹貴族攏絡過來。但無論金人如何軟硬兼施，大石仍像堅硬的石頭一樣絲毫不為所動。一天，金將粘罕邀大石賭雙陸，粘罕盛氣凌人，大石不卑不亢，雙方互不相讓，爭執起來。粘罕表面不動聲色，實則已心懷殺機。大石回帳後，急忙帶兒子乘著茫茫夜色衝出金營。
耶律大石歷盡艱險，追隨天祚帝，苦心孤詣地經營著風雨飄搖的局面，但他卻得不到天祚帝的信任，並且逐步陷於很可能被殺戮的危險之中。在遼朝朝廷內部腐朽的統治集團和朝廷外部新興的女真貴族的雙重壓力下，大石對遼朝在原統治地區的統治已經瀕於絕望，嚴峻的現實迫使他不得不迅速脫離天祚帝，自奔前程。
保大四年（公元1124年）七月，大石佯裝生病，殺死監視自己的北院樞密使蕭乙薛及坡里括，率200鐵騎連夜向西北方疾馳。
不久，大石來到鎮州，力圖恢復遼朝。各族首領積極響應，他們共同抽出一萬餘人的精兵，交付大石指揮。大石隨即自立為王，重新組織官僚機構，建立起一支新的軍事力量，為將來的進一步發展奠定了雄厚的基礎。
1131年，經過一番征戰，38歲的大石在文武百官的擁戴下，在兒漫（今烏茲別克斯坦布哈拉東北）登上了皇帝的寶座，號稱“葛爾罕”，又上漢文尊號曰“天祐皇帝”，改元延慶，追諡其祖父為嗣元皇帝，祖母為宣義皇后。又冊其元妃蕭氏為昭德皇后。西遼政權因為是在喀喇汗國的基礎上建立起來的，故又稱喀喇契丹或黑契丹。
巴喇沙袞地處伊犁河西，吹河（楚河）南岸，熱海（伊塞克湖）西岸，是中亞地區政治、經濟、文化中心。延慶三年（公元1133年），大石正式定都巴喇沙袞，改稱虎思斡爾朵（契丹語意為“強有力的宮帳”），改元康國。
西遼宣佈建立後，大石採取一系列措施來鞏固自己的統治。他鎮壓了康里叛亂，並向各地派遣沙黑納（都督），傳達政令，徵收賦稅。為了緩和屬下各部的民族矛盾，大石施行較輕的賦稅制度。對待歸順的各族首領，允許他們自治，宗教信仰也盡力許可自由，只要用一個銀牌係於腰帶之上，表明是他的臣屬就夠了。這種比較溫和的治國政策，贏得了中亞民眾的歡迎，有效地保證了西遼統治的順利行使，社會秩序也較快地趨於安寧。
幾年過後，西遼締造者們長途跋涉的疲憊消失了。他們的牲口也長了膘。大石在西遷過程中一直把反擊金兵、中興遼朝作為最終目的，隨著統治的穩定，兵力的強盛，他認為戰略反攻的時機已經成熟。康國元年（公元1134年）三月，大石命六院司大王蕭斡裡剌為兵馬都元帥，率7萬騎兵東征。
西遼東征軍接連征服了喀什喀爾、和闐（今新疆和田）、和州（今新疆吐魯番縣東阿斯塔剌）等地。但在東進途中，遭到嚴重自然災害的襲擊，牛、馬大量死亡，損失慘重。大石長嘆一聲：“皇天不順，數也！”放棄了到遼朝原統治區去複國的志願。
東征遭挫的現實，促使大石專心經營他的新疆土。此後，大石銳意西進，直到迫使花剌子模沙（王）阿提西茲降服，每年進貢大量金幣畜產，成為西遼的屬國，才勝利回師。至此，西遼疆域，東起哈密，西至鹹海，北達葉尼塞河上游，南抵阿姆河，廣大的中亞地區結束了割據紛爭的局面，西遼成為一個疆域遼闊，勢力強大的封建帝國。
康國十年，耶律大石病死在虎思斡爾朵他的宮帳之中，依漢制立廟號，尊諡“德宗”。