伯牙原姓俞，名瑞，伯牙是他的字，春秋戰國時期楚國郢都（今湖北荊州）人。歷代文獻關於伯牙的記載很多，最早見於荀況的《勸學》篇，而在《呂氏春秋》和《列子》中，記載有伯牙與鍾子期的故事，一直為後世所傳誦。
伯牙鼓琴，鍾子期在一旁聽著。伯牙志在泰山，鍾子期說：“善哉乎鼓琴！巍巍乎若泰山”。一會兒，伯牙又志在流水，鍾子期說：“善哉鼓琴，洋洋乎若流水”鍾子期死後，伯牙摔琴絕弦，終身不再操琴，因為當世再也沒有能聽懂他的琴聲的人了。
《琴操》等古書裡也記載了有伯牙學琴的故事：著名琴家成連先生是伯牙的老師，伯牙跟成連學了三年琴卻沒有太大的長進。成連說自己只能教彈琴技藝，而其師萬子春更為高明，便帶伯牙去東海找萬子春請教提高的方法。可伯牙到了東海，並未見到萬子春，只看見洶湧的波濤，杳深的山林和悲啼的群鳥，伯牙心中豁然一亮，操琴的水平更上了一層樓，於是創作了名曲《水仙操》。
其實，還有一首名曲也是這個傳說的作品，那就是更加廣為人知的。
的樂譜最早見於明代《神奇秘譜》（朱權成書於1425年），此譜之《高山》、《流水》解題有：“《高山》、《流水》二曲，本只一曲。初志在乎高山，言仁者樂山之意。後志在乎流水，言智者樂水之意。至唐分為兩曲，不分段數。後來分高山為四段，流水為八段。”兩千多年來，《高山》、《流水》這兩首著名的古琴曲與伯牙鼓琴遇知音的故事一起，在人民中間廣泛流傳。