１９０４年６月１０日，徽因出生於杭州。祖父林孝恂得知孫女出生的消息，喜悅地吟哦著《詩經·大雅》中的詩句：“思齊大任，文王之母。思媚週姜，京室之婦。大姒嗣徽音，則百斯男。”他為孫女起名為徽音。 徽音改名為徽因是３０年代初的事情。當時她經常有作品見諸報刊，而另一位經常寫詩的男作者名叫林微音，報紙雜誌在刊發他們的作品時，常把兩人的名字搞混。 《詩刊》為此還專門發過更正聲明。 徽因說：我倒不怕別人把我的作品當成了他的作品，我只怕別人把他的作品當成了我的。從那以後，林徽音遂改名為林徽因。 林徽因原籍福建閩侯。祖父林孝恂字伯穎，為光緒十五年（１８８９）年進士，授翰林院編修，一直在浙江做官。歷任金華、石門、仁和、孝豐知縣和海寧知州。在任期間，他創辦了養正書塾、蠶桑職業學堂，是清朝末年創辦新學的先驅之一。

林孝恂有五女二男七個孩子，徽因的父親林長民是長男。為了林家子侄輩的教育，林孝恂在杭州家中設立了家塾。家塾分國學與新學兩齋，國學延請林紓為主講，新學延請林白水為主講。徽因的父親、叔叔和姑姑們，從小打下了國學深厚的根基，又受到了新學的啟蒙。 徽因兩歲那年，父親赴日本留學，在早稻田大學學習政治法律。徽因與母親跟著祖父母生活。 在徽因幼年的記憶裡，父親就是那個成年不在家的人，父親就是一封封從日本寄回來的信。那些信都是寫給祖父母的，信中抨擊時弊，談論政治，抒發抱負；徽因和母親是父親在信的末尾一筆帶過的一句問候。 徽因４歲了。祖父讓她跟著表姐，由大姑母發蒙讀書。 徽因喜歡和表姐們在一起讀書玩耍。大表姐孟瑜、二表姐孟亮是大姑母的女兒，三表姐語兒是三姑母的女兒。孟瑜比徽因大５歲，孟亮比徽因大３歲，語兒比徽因大兩歲。四個女孩在一起，一時好得像一個人，一時又會為一點小事爭執不休。大姑母總是由著她們鬧，不到不可開交之時，她是輕易不會出面調停的。

大姑母常對家人讚嘆徽因聰穎靈秀。一起讀書的幾個姐妹中，數徽因年齡最小、也最貪玩，聽講時看似漫不經心，可每叫她背書時，她總是滔滔成誦，口齒伶俐清晰。 １９１０年，林長民從早稻田大學畢業。回國後，與同學劉崇佑在家鄉福建創辦了福州私立法政學堂，他擔任校長。 １９１１年，武昌起義爆發。林長民把法政學堂交給別人管理，他奔走於上海、南京、北京等地，到處宣傳革命。南京臨時政府成立後，他就任臨時政府參議院秘書長。他發起組織了“共和建設討論會”，擁戴流亡日本的梁啟超為領袖，並促其回國。 民國初年，風雲際會，各種政治力量“亂紛紛你方唱罷我登場”。林長民作為民初立憲派的名人，始終旗幟鮮明地擁護共和，反對複闢。張勛復辟期間，時任國務院參事的林長民,支持段祺瑞討伐張勛復辟，後被段祺瑞政府任命為司法總長。

隨著林長民升遷的腳步，徽因一家由杭州搬到上海，而後遷居北京。