金剛山奇峰峻嶺，連綿不絕，號稱有山峰1萬2千有餘。山上石峰璀璨生輝，猶如金剛石閃閃發光，故稱金剛山。
金剛山其實有多個名字。夏天，彩雲朵朵，飄浮在絕岩陡壁上，而地上到處綠樹芳草，野鳥鳴囀，人們宛如置身仙境，故名蓬萊山。秋天，漫山楓葉好似鋪上艷麗的錦繡，夕照里湖亭相映，山水交輝，所以有人又把它稱之為“楓嶽山”。冬天，奇岩怪石，樹枝椏杈，銀光閃閃，形成一副美妙如畫的景色，所以也被叫做“皆骨山”。
金剛山劃分為外金剛、內金剛、海金剛三個地區，又細分為22個區。外金剛有萬物相、集仙峰等山岳與無數瀑布和峽谷，景色雄偉壯麗，代表著男性美。內金剛則有萬瀑洞等柔和秀麗的溪谷，代表著女性美。海金剛碧波蕩漾的海景湖色別具一格，使人流連忘返。
金剛山這句話原來是佛教中的話。金剛是梵語的Vajra用漢字意譯的。鑽石也叫金剛石，金剛意味著菩薩的牢固而不朽，堅韌不變之心。
唐代的和尚澄觀說，離東海不遠處有一個叫金剛山的山。因為上下左右四方的山之間的流水和砂子中有金子，所以在遠處看就像金山。
在朝鮮佛教中，人們認為金剛山是擔武葛菩薩（有時翻譯成法氣菩薩）和他的一萬兩千個眷屬一起停留的地方。正因為有這樣的傳說，金剛山就成為了朝鮮佛教的一塊聖地。