紅樓，硬件設施一流，軟件設施更是無與倫比。特地從江浙一帶選聘來４０多名風塵佳麗，身高１．６５米以上，「三圍」全部合乎標準，學歷高中以上，統一培訓，技能除能歌善舞，還擅長按摩。美女如雲，一笑一顰，舉手投足，令客人魂不守舍。紅樓秘密「武器」，從槍林彈雨中走出來的一個個黨政軍老幹部只要走入紅樓，就無法抵禦這裡「肉彈」的左攻右擊，最終傾倒在賴昌星手中紅粉佳人的石榴裙下。每當夜幕降臨，一輛輛的名車載著一個比一個趾高氣揚的各路權貴要員，魚貫進入這幢神秘的紅色「小莊園」，尋求屬於他們別具一格的夜生活。
紅樓有一柔媚嬌艷的攻關部主任歐小姐，還有一風情萬種的李姓「媽咪」，別看她們年齡不大，能耐倒很大，幾十個小姐全由她倆支配，有時客人多，紅樓裡的小姐供不應求，那位李姓「媽咪」一個電話能火速調遣來一班「後備軍」，那些處於休養狀態的小姐一旦接到李媽咪的電話，緊趕慢趕前來紅樓，叫那些有頭有臉的達官貴人成為紅樓的俘虜。
紅樓，是一座醉生夢死，使人的物慾肉慾得到最大滿足的宮殿。真是入得紅樓，如進天堂。賴昌星用女色作為手中的釣餌，而紅樓裡的美女負責「垂釣」，最終「鎖定」多少貪官污吏。
有關紅樓的故事很多，雲詭波譎，光怪陸離。最近有媒體說，賴昌星做事很絕，他在紅樓用肉彈腐蝕各路權貴要員，並派人用針孔錄像機偷錄這些重要人物與美女洗澡或床上肉搏的刺激鏡頭，留下他們不可告人的「把柄」，用於日後要挾，逼你上「賊船」沒商量。
賴昌星遠走高飛，此事無從證實。但聽說專案組有關人員在審查遠華涉案人員時也曾追問過此事，得到的回答卻是否定的。有一賴昌星高級馬仔說，他們曾經為賴出過這樣的餿主意，說是能「套牢」那些腐敗貪官，但被賴老闆臭罵了一通。賴說，來紅樓的都是客，是他的哥兒們，好朋友，這種背後射暗箭的事他不會做的。由此看來，紅樓即使有「針孔錄像機」一說，估計也是手下人瞞著賴胖子使出的伎倆。
但有一點是肯定的，就在賴昌星等人做著如縷不絕的「紅樓夢」時，公元１９９９年４月，風起雲湧，紅樓開始搖搖欲墜，許多人的「紅樓」美夢開始破滅。
如今紅樓一改往日的門庭若市，變得淒涼寥落。專案人員費了好大工夫才陸續將星離雨散於各地的三陪女找到，一個重慶小姐翻閱著一大堆高官權貴的照片，手一指，說：這兩位首長來（紅樓）得最多，每星期起碼有兩三次吧。到紅樓尋歡作樂，「閱盡人間春色」的重權人物，紛紛成為賴昌星在官場上的密友。
賴昌星曾揚言，我在廈門誰都不怕，只要涉及到我，任何人都不敢碰。就是中央來人辦案，來一批我同樣「搞掂」一批，我就不信有誰不貪財戀色。賴昌星總結出一句至理名言：「不怕什麼法規條文，規章制度，就怕領導幹部沒有興趣愛好。」真是精彩至極。
賴昌星沒文憑，但有相當的水平，他把人性之弱點和欲求全都研究透徹。這樣一來，凡人也就很難逃脫他的「佛掌心」了。
賴昌星靠走私發跡、爆發，對錢財卻從不吝嗇，出手大方。有知情者說，賴昌星拿出「黑色收入」的７０％或一半用於鋪路，編織龐大的關係網，這就是他的能耐和所謂「人格魅力」。