在古代，由于科学不发达，人们的观念和现代人不同，很多人都相信有鬼神存在。这种观念反映到对住宅的认识上，就是认为既有“旺丁旺财”的“吉宅”，也有“损丁损财”的“凶宅”，还有人死后阴魂不散，经常闹鬼的“鬼宅”。
　　
　　活人居住的房子有鬼神作祟，当然是无稽之谈。许多古代有识之士，早已对这种迷信进行批判。如汉代学者王充指出，所谓“夜鬼哭”，不过是秋风吹拂发出的一种声音；所谓“鬼火”，不过是人们夜行见到磷发出的光。在150年前的清代末期，佛山有个不怕鬼的奇人，他结婚后住进一间人们不敢住的“闹鬼”小院。住进“鬼宅”后不仅没有遭殃，还生了三个聪明俊秀的儿子，个个学业有成考试中举，其中一人还考取进士，成为朝廷的一品大员。这个人，就是清代佛山名人戴其芬。
　　
　　小院无人住一直丢荒
　　
　　戴其芬是江浦戴氏的后代，先世居南海大同堡绿涌村，后定居佛山。他生于富商之家，饱读诗书，“精研经典，旁及天文地舆，医药卜筮……”他成家后欲觅一住宅，当时佛山有个叫桑园的地方，周边都比较热闹，唯独有间小院无人居住，一直丢荒。人们都说那里闹鬼，半夜常听到好像几个小孩在嬉戏吵闹，还不时传出琅琅读书声。
　　
　　据戴其芬后人戴平宜记载：在佛山流传着这样一个故事，一日戴其芬路过桑园，见闹鬼小院树木繁茂，环境幽静，颇有好感，自称一身正气，何惧鬼神，遂入迁此院居住。子夜，听到三个孩童的喧闹和读书声，戴其芬置若罔闻，泰然处之。道光戊申年九月，其芬长子鸿宪出生，小院夜里少了一个孩童读书声；咸丰癸丑年三月，次子鸿慈出生，此时小院夜半只剩下一个孩童的读书声；又过了三年，第三个儿子鸿惠出生，从此小院变得十分宁静。
　　
　　其实，戴氏三兄弟的出生和半夜孩童读书声的消失并无必然联系，应该说，半夜孩童读书声或许是人们的幻觉而已。
　　
　　戴其芬学识渊博，教子有方。戴鸿宪、戴鸿慈、戴鸿惠长大后皆为举人，戴鸿慈脱颖而出，由解元考取光绪丙子恩科进士。走上仕途后官至尚书、军机大臣、协办大学士，史称清朝二百多年来广东由军机入相者，唯有鸿慈一人。
　　
　　扩建旧宅名为“尚书第”
　　
　　戴鸿慈在北京当官后，将在佛山的旧宅扩建，设有正厅、偏厅、书房、厢房等前后三进，名为“尚书第”。戴鸿慈三兄弟出生的旧屋仍旧保留。戴平宜在《戴鸿慈的家世》一文中称：戴氏后人曾多次修葺此屋，都要保留原来的黄泥地面，就是不能铺设地砖，据说一旦铺上地砖，家宅必有人伤亡。这到底是什么原因呢？至今仍是一个谜。