本書所說賈家的地點約在北京城西北部分。第四十三回，寶玉騎馬出北門，茗煙卻說，出了北門的大道，冷清清沒有可頑的，這很像德勝門。第五十七回邢岫煙說的“恆舒典”，在鼓樓西大街，亦近德勝門。地址都相符，大概沒有什麼問題，不過曹家在這地段是否有過住宅，那就很難說了。
說到大觀園，似乎賈宅的地點已經確定，大觀園所在的問題也隨著解決了。可惜並不這樣的簡單。這裡有三種的因素：（一）回憶，（二）理想，（三）現實。以回憶而論，可在北京，亦可能在南京。曹罷官以後儘管住在北京，但作者憶想他家的盛時，在金陵曾有一個大大的花園，這可能性依然很大的，亦即所謂“秦淮殘夢憶繁華”。袁子才所謂“大觀園即餘之隨園也”，究竟是否謊話，亦不易確說。
以理想而論，空中樓閣，亦即無所謂南北，當然不完全是空的，我不過說包含相當的理想成分罷了，如十八回賈元春詩云，“天上人間諸景備，芳園應錫大觀名”，顯明表出想像的境界；否則園子縱好，何能備天上人間的諸景呢，而且京中的巨室豪門，附帶的園林每每不大，事實上亦很明白的。
以現實而論，曹家回京後，還過了一段相當繁榮的時期，則他們住宅有小小的庭園自屬可能。這就是真的大觀園，再說明白些，即大觀園的模型。地點隨著住宅當然在北京西城，何況，寶釵詩“芳園築向帝城西”，為最明確的內證。
這三種成分哪一種佔優勢呢？自然很難說。以我看來。現實的成分固然有，回憶想像的卻亦不少。如四十九回“琉璃世界白雪紅梅”，顯然出於虛擬、回憶或者想像。像近人周汝昌君所說，我覺得不很對。他說“亦並未言定非盆中所植”（《紅樓夢新證》五○六頁），櫳翠庵的紅梅，寶玉隔牆看見，決非盆景；且在五十回中說，折枝有二尺來高，橫枝有五六尺長，如何會是盆栽。像這樣拉扯，沒有什麼意義。不管成林也罷、成片也罷，十數株的紅梅映雪而開，久住北京的恐誰都沒有見過這樣境界，也等於說北京事實上不曾有過。至於偶然有一兩棵梅花短期間在地面上活了，這些珍奇之例，顯與本書敘述無關。若青苔翠竹，景物固似江南，但北京亦或有之，不足深論。
更有人以為大觀園名為大觀，其實並不太大，書中云雲乃形容之詞。這果然也有些道理。不過假定它不大或很小，事實上也有困難，讓我且用粘滯的看法來看。據本書第十六回：
從東邊一帶，接著東府里花園起至西北，丈量了一共三里半。
故老相傳，京師各城門間的距離為三里，我卻沒量過。書上卻說，大觀園從東到西有三里半。南北不知道，未必是見方三里半罷。就是這樣也很可以。假如偏西北角，該從西直門直抵德勝門；假如正北，又該從德勝門直抵安定門。這在北京城裡是個奇蹟，彷彿把故宮給搬了個家。而且更有一點古怪的，十二釵朝夕步行往來其間，豈不都要累壞了麼？所以有些話真是所謂“荒唐言”，不讓我們穿鑿地來考證它。而且還有一說，寧府的花園在第十六回上曾再三地說併入大觀園了，如雲：
先令匠役拆寧府會芳園的牆垣樓閣，直接入榮府東大院中。
這例最明白。可是在第七十五回上又跑出一個會芳園來了！
賈珍……備了一桌菜蔬果品在會芳園叢綠堂中……賞月。
您想，這如何能夠考證？又前回說天香樓在寧府花園中，建造大觀園時想必亦已拆改歸併了，但七十五回又說，“天香樓射鵠子”，則此樓還在，亦很奇怪。
反正大觀園在當時事實上確有過一個影兒，我們可以這樣說。作者把這一點點的影踪，擴大了多少倍，用筆墨渲染，幻出一個天上人間的蜃樓樂園來。這是文學上可有應有的手腕。它卻不曾預備後人來做考證的呵。
作者明說荒唐言，我們未免太認真了。假如在北京城的某街某巷能夠找出大觀園的遺址來，在我個人自感很大的興味，但恐怕事實上不許我們有這樣樂觀的想法，所以我最近的意見還跟《紅樓夢研究》裡所說差不多少。