“雖然自己東莞家中收藏很多，香港的姨媽家里也有兩層樓的古玩器物供賞玩，但我從不知道我家里在英國還有那么龐大的一筆財富。只是偶爾姨媽會開玩笑似地說，萬一我有事，英國的‘那些東西’你來接管之類的話，但誰也沒有當真。直到最后她交給我的那張寫有地址的地圖。”
為了守住這份祖上留下的遺產而終身未嫁的姨媽，在某一個深夜永遠地離開了人世，趙泰來說，這批寶藏的發現，徹底改變了他的命運。此后的十年，他潛心清理這些文物，自己出錢將這些東西慢慢運送出來，其間難免遭受到地窖中老鼠、毒蛇的襲擊。英國物價昂貴，一塊包裝泡沫就賣4鎊，為了節約，開始趙泰來住著豪宅，卻每天去撿包裝箱……“我沒有賣過一件東西，哪怕賣掉英國的別墅，也沒想過賣掉這些古董。因為，這些古物對我的影響太深了。”
回憶
特殊年代的心靈陣痛
盡管如今在收藏界是名副其實的“大腕”，但少時的趙泰來自覺對書畫、古玩并無興趣。只是托祖宗的福，家中收藏有大量的古董器物，自小被長輩勒令學畫而已。
趙泰來的祖上曾供職于清廷內府，曾外祖父伍廷芳是中國近代著名外交家、法學家，這批家傳的寶物，也正是由伍廷芳主持埋在了英國的農場之下。清末民初，伍廷芳的頭銜多得數不過來：美國公使、西班牙公使、司法總長、外交總長、代總理等，趙泰來顯然對這樣的家世有著一份自得：“外婆是伍廷芳的女兒，外公的父親是溥儀的老師，而祖母是廖承志姐姐的好朋友，來往的都是這些人，陸陸續續家里的古董字畫就很多。父親、爺爺、姨媽他們都很喜歡這些古董，收藏在家中，自己賞玩。”
然而，平靜的生活很快被打破了。上世紀60年代的那場浩劫，首先波及的便是趙家這樣的家庭。一波又一波的人上門來，粗暴地撬起趙家的地板，不斷翻檢著是否有要砸掉、破壞的東西，一次又一次的抄家，讓趙父不堪承受，心痛不已。而最遭殃的便是家中所藏的那些珍貴古玩字畫。
“我母親對我們說，有人來了，就不許說話，只能看只能聽。所以我性格很內向，就看著他們瘋狂地在家里燒掉家中的古字畫，那些字畫都是當年的裱工，非常珍貴，但我就這樣看著他們一張一張、一幅一幅地把有宋徽宗題詞、董其昌題詞、乾隆題詞的字畫燒掉，我父親哭了，但什么也挽回不了。我家的地板前前后后被撬了十幾次，包括器物被砸爛的，敲碎的不計其數，損失很大。”浩劫期間，趙父過世，趙泰來隨著家族中的一些兄弟姐妹一同來到了香港，那里生活著家族中的絕大部分親戚，居住在姨媽的家中。
“姨媽是個大家閨秀，讀過很多書，終身未嫁。”在趙泰來的心中，自從14歲時到了香港，便一直跟隨姨媽生活，姨媽對其的影響甚至超過了母親。“姨媽家的隔壁住著黃君璧，與趙少昂等也來往很多，尤其是黃君璧老師與張大千是非常好的朋友，張大千來香港后也經常來家里，但主要目的是看家里的古畫，倒不是應酬。”說著這些兒時的往事，趙泰來的聲調微微有些許上揚，也許那個時候的“蓬蓽生輝”一直留存在他的心里。
“我當時常常在想，那么好的東西，為什么會有人要去破壞它，那么珍貴的老祖宗留下的東西，破壞掉就不可能再有的東西，香港人想出錢買都買不到的東西，怎么就被他們這樣隨隨便便地燒掉了。我想不通，無法理解，只覺得遺憾、心痛，性格也越發的內向，常常不講話不出門也不與人交流，家里人說我是‘啞巴’。”