这个秘密就是关于吴家大院藏有财宝的传说。
清朝咸丰末年吴家扩建这个院子的时候，吴中的大哥吴南、二哥吴北都出过力。后来吴南、吴北先后离开原籍去南方经商，夏边县的吴家就只剩了吴中这一支。吴中死后是他的养子吴延福当家，但是吴延福在1923年突然暴亡，且身后无子，事情便一下子复杂起来。得知吴延福的女儿潘吴氏想要继承吴家大院，吴南、吴北后代不干了，他们决定要抢在潘吴氏的前面，就委派了吴南之次子吴延禄先期赶到夏边处理此事。不料吴延禄竟然辜负了大家的期望，他将院子贱价卖给萧道成，然后带着那笔钱连夜逃出夏边，从此下落不明。
萧家买下房子不久，这个大院就开始闹鬼，因此萧道成在此住了一年不到，就又搬回了他的老宅，这院子就由他的二儿子萧子敬住着。大约是1938年前后，有人在一个夜黑风高的晚上摸进吴家大院行刺，恰好时任日伪警察局长的萧子敬不在家，侥幸躲过一劫，但是他的一个小妾和两个孩子却死于非命。血案一出，这个院子便无人敢住，有一段时间，甚至沦落到“芳草萋萋，鸟雀为家”的程度。
1945年“光复”后，政府将萧家大院作为“敌伪财产”没收，但也一直闲置着。新中国成立后，这里成为了城关镇供销合作社所在地，不久又划给了县粮食局，粮食局于1964年迁走，把院子又给了县文化馆，直到现在。
当年查封“伪产”的时候，曾经从这个院子里起获了萧子敬埋藏的一些银元，但是没有找到萧家最为值钱的财宝。尤其是萧家当年准备用来充抵房款的一幅古画。
这里牵涉到流传很久的一个似是而非的传说。
那说法是：萧家当年买院子的时候不是贱卖，而是照值付价。因为萧道成也算有身份的人，不至于因为这么个旧宅院而欺负吴家。当时吴延禄以现大洋不好携带为理由，要求萧道成少付现款，差额部分以萧家一幅家藏古画抵充。那画是从宫廷里流落出来的，是元代著名画家柯九思的《归庄山水图》，据说上面还有明朝某个皇帝亲笔写的题跋。
柯九思的画在那个年代已经很有名气，可与现在的行情还是没法比。假如说那个时候它能顶半个吴家大院，那么它如今的行情已经是价值连城。
接下来的情况是，萧家先付了古画，因为现大洋一时凑不齐，吴延禄就在大院里坐等，说好付清全款，他马上交出院子。
可是不知什么原因，吴延禄不等萧家把余款付清，就仓皇逃离了夏边，他甚至都没有来得及带走密藏的古画。
由于没找到那幅画，也就不能排除那画和萧家的其他财宝还深藏在大院的某处。吴甘来相信这个传说，他极力撺掇吴道宏要回这个院子，目的就是来此寻找财宝。当然，这些“实话”他不能跟任何人说。