走私，對賴昌星來說，已成一種職業、專業、霸業。他像滾雪球似的將走私規模越滾越大，後來連他自己也難以支撐。
１９９７年籌建８８層遠華集團中心，當時是在資金嚴重缺乏的情況下強行上馬的。賴昌星通過銀行貸了大筆款項，市政府也把這一項目當成廈門跨世紀重點工程加以宣傳。８８層大樓開工時，恰逢那年的「九·八」貿洽會，所以搞得興師動眾，投資額說是３０億元。為此，大哥賴水強曾提醒賴昌星，建８８層大廈，要那麼高幹嘛，爬得越高，摔得越慘。再說，樹大招風，走私的事還是有所收斂的好。賴昌星不聽，他對大哥說，拿那麼多錢鋪路，現在關係越做越硬，怎能不干呢？
賴昌星拋頭露面出盡了風頭，據說有人曾多次勸過他，走私畢竟不是長久之計，見好就收，金盆洗手，免得出事。
賴昌星也曾想「激流勇退」，但談何容易？
幾年來仰仗權力資源編織了一張龐大的人情關係網，這權力資源中有開採不完的「金子」。掌握官員手中的權力，也就掌握通向財富的金鑰匙。況且，我是流氓我怕誰呀？賴昌星曾表露出這樣的心態，這多少反映他流氓致富的心態。
賴昌星早已過慣了揮金如土的淫樂生活，要賭博、要瀟灑、要玩女人、要追求體面光鮮，這一切當然離不開錢。賺錢，就像賭博，贏了還想再贏。人是遊戲的動物，遊戲上了癮，欲罷不忍，樂而忘返。他還要供那麼多貪官污吏、腐敗官員吃喝玩樂拿，個個都是獅子張大嘴，還有那些高官、親信的子女，不幹活還得給他們白送一份高工資。僅１９９７年春節遠華給各有關部門和各路要員的節日禮金就達２０００萬元。所以，賴昌星反覆說過，不走私，遠華就得「掏空」呀。
據說遠華案東窗事發前不久，賴昌星有一天駕著那輛威風顯赫的私家車在高速公路上飛馳，突然觸景生情發了不少感慨，他對隨從說，走私，賺大錢，感覺好比在高速公路開車，根本停不下來。就是想停下來，也還有止不住的慣性運動呢。
除了對錢財的貪婪，除了止不住的慣性運動。賴昌星自以為有那麼多大大小小的保護傘罩著，沒人敢動他一根毫毛。這也是遠華集團走私活動愈演愈烈，有恃無恐的原因所在。
「遠華」自誕生的第一天起，就在編排、上演一部當代很有轟動效應的「新紅樓夢」。
紅樓，既是走私犯罪的策源地，又是滋養蛀蟲、碩鼠的米糧倉；
紅樓，既是腐敗貪官的淫樂天堂，又是官商勾結的犯罪魔窟。
這是賴昌星大哥賴水強對紅樓的生動註解。接受專案組審查時，他思想鬥爭激烈，感慨頓生，寫了一篇題為「午夜———群魔鬧乾坤」的感想：遠華，曾經大紅大紫，聲遠四海，華名高揚。如此榮耀，在鷺島的歷史上怕是絕無僅有。
由賴氏家族建造起來的遠華大廈只不過是紅樓一夢。紅樓塑造了遠華，紅樓最終又毀了遠華，是紅樓將遠華蛀空、掏空，引入深淵，帶進萬劫不復的絕境。
迷濛中，感覺風呼呼、雨瀟瀟，一棵桿粗枝茂的大樹驟然倒下，壓在那座小樓的紅頂上。那座紅頂小樓幾下晃動，很快倒塌，化成一堆廢墟。莫非這就是專案人員所說的天怒人怨吧！那些經常在午夜進出紅樓，接受「饋贈」的高官權貴，此時都變成又白又胖的蛀蟲在廢墟裡拱來拱去，爬上爬下。這些腐敗分子和走私分子特別怕光、怕白天，因此，午夜的紅樓不僅是他們嫖妓、淫樂的宮殿，同時又是他們進行骯髒交易的據點……