1904年，岭南学堂由澳门迁回广州，在河南康乐村建校(即今中山大学校址)。

钟先生举家迁往学校临时木屋居住，从此以岭南为家。这是钟先生一生主要的活动空间。黑石屋 闻名遐迩的黑石屋，是钟先生长期居住的所在，据研究者称这里最早是教工宿舍，后来岭大校舍渐宽，才作为钟先生居所。现在已辟为中山大学第一招待所(贵宾楼)。钟氏任岭南大学校长时的居所为黑石屋。钟氏弟子回忆曰：“中山先生以至中外来宾，学者专家、学生家长及一般亲朋，常踵门访问，村人野者亦出入无阻。至于钟夫人飨客之烹饪绝技，交际之丰仪，则有助于先生不鲜也。岭南同学缅怀此屋，视为圣地。”传说宋庆龄“广州蒙难”时在此流产。孙中山先生手书的校训和怀士堂已在背后，面前是幽长静谧的岭南路，我的右手便是黑石屋，80余年的风尘，使它更加雅致而深沉。黑石屋是芝加哥的伊沙贝·布勒斯顿夫人出资为钟先生兴建的寓所，钟先生在此度过十年时光。Willian Ernst Hocking(前岭南理事，哈佛大学教授)在《岭南大学》前言中说：“岭南大学校史讲述了一个关于勇敢精神与冒险经历的极珍贵的故事。”钟先生就是这段历史的代言人。