家族內的嫌隙由此萌芽。
而拿到洋房支配權的劉虹和白庭蔭在朋友建議下，準備大干一場。2003年年末，他們與當時的盧灣區文化局就舊居的開發利用等，進行了多次商談，也有回滬探親的劉麟、劉虬、劉蟾、朋友白羽等多次參與，最后決定在舊居基礎上籌建劉海粟紀念場館，同時，由白庭蔭和白羽自籌資金1000萬元，注冊一個以劉海粟命名的文化產業公司，在故居內引入一個美術學校和一間畫廊，其目的，據稱主要是為保證場館的運轉。
同時，白庭蔭也在家族內部把想法和盤托出。結果，對于老白的提議，七兄妹之間發生了爭議，有支持，有反對，有沉默。其中，回滬參事的大哥劉麟起初站在白庭蔭夫婦一邊。老白說，2004年4月初，劉麟夫婦到上海后，還特地在給家族兄妹的倡議書中提到：“考慮到劉虹夫婦倆長住上海，并且從開始到現在已經配合盧灣區做了很多工作，我建議我們推舉他們倆作為家屬代表，繼續積極努力地去配合政府的工作。”
不過據白庭蔭說，隨后海老的小兒子劉虬就給時任盧灣區文化局局長寫了一封信，大意是“舊居如何處理是我們家里的事情，誰要你們文化局那么起勁？”至此，籌建“舊居”紀念場館的事也就不了了之。
2005年6月，白庭蔭以畫展的形式為夏老舉辦了一個慶賀九十大壽的生日宴會，可是據他透露，社會上的反響“非常成功”，但在家族內部卻是暗潮涌動。宴會之后，劉家兄妹開了個家庭會議，經過爭論后最終形成決議：文化產業公司不許私人搞了，將舊居捐給政府搞劉海粟故居。
白庭蔭說，“這個結果讓劉麟對我很失望，由此才跟劉蟾和劉虬聯手，開始籌備了這場官司，在2005年11月興師動眾到上海，正式上演了這場鬧劇。”
而原告方對于訴訟的緣由，則有另一種說法。
作為原告之一的劉蟾在2006年7月接受媒體采訪時稱，1994年父親去世后，母親夏伊喬遵循父親遺愿，將大部分書畫和收藏捐獻給國家。而上海復興中路512號是父親的舊居，保存了大量文物，包括父母二人的書畫作品、收藏及手稿等。2003年3月，姐姐劉虹從香港遷回上海。她要了舊居的鑰匙后交給了丈夫白庭蔭，白庭蔭則“雇用工人”傅偉明等人在舊居內進行大清理。
然而，到了2005年6月25日，她和幾位親屬在網上發現，大批劉海粟和夏伊喬的書畫作品和藏品即將被拍賣，而且列明是家屬提供的，但這些書畫都是原來存放在劉海粟舊居中的。經他們調查，大眾拍賣公司的49幅是傅偉明交付拍賣的，工美拍賣公司的1幅是白庭蔭交付拍賣的。
其后，他們幾個子女又得知，自2004年起，原放在劉海粟舊居內的物品不斷地被賣出，就此，五名子女和夏老向上海市二中院提交了起訴狀。
對于劉蟾女士的說法，白庭蔭極力反駁。
其一，海老的故居清點和藏品捐贈是在1994年3月至11月完成的，之后一直到2003年4月5日，故居完全是在劉蟾控制下。
其二，他與劉虹在2003年末對故居進行清掃整理時，的確發現了一些東西，但都是看來很有價值的、遺漏的大量文件資料，而不是什么書畫作品和藏品，關于這一點，在劉虹給劉豹夫妻的一封信中就有提及。
其三，訴訟案中爭議的送拍藏品，有些是海老生前就送給朋友的，比如《自得圖》、《江山勝覽圖》等，與本案無關。其他的，有的是夏老生前送給他女兒白瑜的，有的是送給他本人的，對此他只有理論上的根據，確實拿不出實打實的證據。
據記者了解，夏老的三個親生子女劉虬、劉虹和劉蟾，只有劉虹有一個女兒，從情理上講，外祖母送幾幅畫給唯一的、非常疼愛的外孫女，也的確是正常的。另據老白坦言，在夏老晚年，他這個“蹩腳女婿”花錢費力為她辦了好多事，還不包括為她辦壽宴、開畫展、制作畫冊等；就是在夏老生病之前，她感到虧欠老白的人情，一定要自掏腰包請他吃一頓飯。夏老在病倒前仍念念不忘地想要把復興中路512號改造成紀念場地，也都指望著老白來辦事，老岳母送幾幅畫給女婿表達謝意，也是再正常不過的。