胡蘭成在生活初初安定之後，曾經想讓留在大陸的「內人」「家眷」范秀美來日本。當然，這只是他自己做的美夢，在當時中美對立的狀況下，中日之間斷絕往來，以他這樣一個偷渡客身份，自身本已難保，有什麼力量讓秀美來日本團聚？再加還有中國大陸的問題，此事自然全無可能。不過，秀美即便不來，對他也沒有任何妨礙，他在男女情慾上又有了新的斬獲。
胡蘭成又成功勾引了一個日本的有夫之婦，一枝。這幾乎是他離開池田家後一到東京就開始的。他也是非離開池田家不可了，整整苦熬了半年不近女色，在他已是極不容易。
一枝是胡蘭成東京租屋的房東主婦，憑他尖利的色眼，「第一天我就留心看她在人前應對笑語清和」，馬上就判斷出「日本的少婦是比少女美」。第三天晚上，一枝母親和一枝請胡蘭成看電影，一枝坐他身旁，他就「吃豆腐」。天熱，一枝穿短袖，露出臂膊，看電影時乘著黑色，他伸出黑手去搭到了一枝的臂膀上。他是漁獵成性，也是他判斷準確後的出手，果然也就得手了。
一枝家是士族，她的丈夫卻是入贅的，且有了孩子。日本人家的贅婿大概不自然，尤其上頭有阿婆，她不是一枝的生母。男人的塌茸，阿婆的獨愎，連一枝的小孩亦有阿婆幫在頭裡，敢與一枝平等。因此一枝沒有為妻的成熟，其至也沒有母性的成熟。又因她皮膚生得白，而且她走路的姿勢像小女孩的可憐相，路上生人還當她是未嫁的姑娘。一枝的父親是當她還在女塾讀書時就去世了，生前因只有她一個女兒，當她如珍寶，父親若在，亦不會給她找這樣一個男人的。[8]
這樣的「不幸」少婦，以胡蘭成勾引女人精熟的功夫手段，再加以一日三餐的「舉案齊眉」和掃除鋪被的近水樓台的便利，一切自是馬到成功的事了。
一枝和他說起戰爭期間的苦難，背了小孩沿街賣柿子，掙錢貼補家用，他心疼可惜；一枝說自己以前有過的戀人，而男人對她很冷漠，他是敬重更同情。白天男人上工孩子上學，一枝做飯，他跟到廚房裡；早飯後一枝梳妝，他在旁邊看。如此情意默默，在大丈夫風習下長成的日本女人還不中他的套？胡蘭成又來了，他說要與一枝結婚，一枝道不可以，她已為人妻。他再問是否自己不夠誠意，一枝答是的，怎麼可以這樣不作打算！一枝又笑：「你說我生得好看，從此對鏡自己端詳，果然還好看似的。」
須知，所有這一切調情調戲時，胡蘭成還不會怎樣說日語，無以表達，常常要用筆談。筆談再不達呢，那自然是用肢體語言了。胡蘭成的功夫真是精湛。
胡蘭成不敢將此事告知池田，他知道池田對他這樣破壞他人家庭的事不會贊成，其時日本社會風氣尚保守，一般人在男女之事上出軌，往往就會身敗名裂。胡蘭成知道，他身在異國，是無正式身份的偷渡客，且勾引成奸的是日本人的有夫之婦，弄得不好惹上殺身之禍都是可能的。可他仍是管不住自己的情慾，他與一枝的姦情整整持續了三年。三年一過，立刻斬斷，再也不通音問，他自己也承認「我就是這樣一個無情的人」。「大約也是因為時勢的緣故，前此我與之有夫妻之好的女子，皆不過三年五年，要算與玉鳳最長。」
1954年3月，胡蘭成與佘愛珍結合。
胡蘭成生活中離不開女人，他的回憶錄中多以女人為題記事，他與佘愛珍結合，是他一生中所有夫妻或准夫妻型與女人結合中的最後一次。是年佘愛珍剛過五十，胡蘭成四十九歲。
佘愛珍依靠李小寶，在香港三年，整天仍是如當年上海那般打打牌，過上海白相人太太的日子，優裕自在，風光如舊。以後李小寶想到日本發展，佘愛珍跟著到東京，這才與胡蘭成重新遇上，故時情人加現實需要，這才有了這段最後的情緣，無分男女對兩人都是如此。
結婚頭兩年，兩人仍是分居，佘愛珍與李小寶住新宿，胡蘭成一人租住日本人家，不居一處，兩人之間卻經常吵個不休。最令胡蘭成傷心、傷他自尊的是，當他得知佘愛珍在香港的風光，當年李小寶租住的房子每月租金即達一千多港幣，聯想起當年偷渡時佘只給了他二百港幣，這才明白，他把佘愛珍當體己知己，佘愛珍卻不瞭解他，更是從來沒有看重過他，可兩人卻成了最後的夫妻，這真正是他人生最後的諷刺。
兩人爭吵的另一個原因是為犯罪，為此佘愛珍在日本先後吃過三次官司，連及損傷了他胡蘭成在日本的「公眾形象」。
佘愛珍的一次犯罪，與胡蘭成相同為偷渡入境，違反了日本出入境管理法，還有兩次是因為李小寶販毒，據胡蘭成說，這兩次佘愛珍完全是受牽連。
李小寶來日本後，又想重操舊業販賣大麻。想不到日本不比舊時的上海，李小寶被日本警察查獲拘捕，佘愛珍與李小寶同住一處，也被一同捕去。胡蘭成聞知，簡直像五雷轟頂，又哀痛，又發怒，只得強打起精神四處奔走，到拘留所送飯，又到警察局、出入境管理局一次次為佘愛珍說明辯護。事情一張揚開，胡蘭成也被日本《全貌》雜誌點了名。他急得跳腳，幾年辛苦建立起的一點名聲至此墜地。而且，他素性最反對販大麻吸鴉片，將其視為不可饒恕的罪惡，可他卻陷入了如此尷尬的困境，他擺脫不開，佘愛珍是他的妻子。雖然佘愛珍最後都被無罪開釋，但夫妻兩人之間為此還是吵得不可開交，弄得他心力交瘁，「比經過政治亡命更為看破了浮世」。
直到李小寶被遣送回香港，佘愛珍才算收心。胡蘭成生了場病，割了盲腸，精力大不如前，且已年過半百，要花心亦不能，也開始收心。佘愛珍服侍他割了盲腸，還給他抄寫謄清了《山河歲月》原稿，然後與女兒咪咪一起去開了個酒吧度日。說起來，也是為兩人的生活，佘愛珍對他說，希望開酒吧能賺錢，然後造宅大房子做人家，留出一間給他做書房。胡蘭成並不喜歡佘愛珍開酒吧，可他能怎麼樣呢？他無固定職業，也無穩定收入，他也知道男子漢應當養妻子，可家計已到了「要緊關頭」，他只能聽憑佘愛珍去做了。
有人指斥胡蘭成下流下賤，說起來是君子讀書人，卻與佘愛珍一起開妓院，做拉皮條的營生。這說得太過了。兩人要生活，胡蘭成既不能養家，佘愛珍是白相人太太，又無其他更好的謀生辦法，再說開的是酒吧，不是妓院。胡蘭成自己撇清，開酒吧是佘愛珍和女兒在開，自己與其是分開住的，這大約是事實，但撇清是撇不清的，他自己可能不至於親自去拉皮條，但酒吧里拉皮條是免不了的，佘愛珍開的酒吧就是個色情場所，即便從胡蘭成自己眼裡也是如此：
愛珍真是貴人。因為她的眼睛裡無賤役。我聽她講說，只覺來飲酒的美國空軍與陪坐陪舞，出去旅館陪歡的日本姑娘，我亦可以與他們如與普通人的沒有阻隔。老子說：「聖人常善救人，故無棄人。」從來打天下就是亦要與小人為伍的。是故世界若尚有繁華，愛珍總是繁華之人。她開這間吧，收拾得無一處不清潔響亮。雖然外國語是難事，也會給她搞得通，而且姑娘們與配酒的都與她相親。那些人雖是娼妓一流，原來亦要人拿正大待她們，何況還肯知疼著熱。愛珍說待人是以心換心。而她還有說是人騙人，雖親生兒女亦不過騙騙爺娘歡喜，就已經是好的了。這兩句話就有一個禮樂之世，也真心真意，也假仁假義。[9]
胡蘭成特地說明，這一切都是他「聽說」的，他自己像是從不涉足。不過，如他這樣個花色人，不去可能麼？常去也不見得，去了無事可幹。酒吧裡做服務，他不成了「大茶壺」了？畢竟也太老了，去喝酒，那更是浪費，酒吧原本開得就不成功。
佘愛珍開酒吧最終結算，並沒有賺到什麼錢，衣食冷暖可以保證，造大房子卻沒可能，胡蘭成仍是在租住的人家寫文章。他的著述卻有收穫，他的最好的著述都是在這幾年時間內完成的。