胡蘭成在斯家樓上躲了整整八個月，最後仍決定回溫州。
他和秀美暗地裡商量，他先走，秀美後行，以後兩人再到溫州相聚。
這次他由斯君陪同，他和斯君不走陸路走海路，取道上海乘船往溫州。
到了上海，胡蘭成仍然不敢回家，往張愛玲處過了一夜，過得卻是很不愉快。他為張愛玲對斯君態度的簡慢以及扯上上次張愛玲去溫州在諸暨斯家的種種作為，責怪張愛玲的無禮，兩人為此又彆扭了一場。第二日一早，胡蘭成和斯君乘船往溫州。
胡蘭成以後文章中常用到一個詞：「民間」，「民間」起兵是順應民心和時勢，「民間」孕育著國運，他自己也是托庇於「民間」才得逃脫抓捕。儘管「事後諸葛亮」，他的逃亡卻是真的幸虧在「民間」，這只需看看汪偽政府那班頭面人物的下場就知道了。不肯或不敢或不屑於出逃，束手就擒的，自然抓住；陳璧君等人遠在廣東，香港近在咫尺卻不逃，也被抓來南京；陳公博、梅思平、林柏生乘飛機已逃到日本，算是逃得遠了，可最後仍然被押解回國受審；周佛海一干人在汪偽時期就與重慶暗通款曲，自以為得計，早留好了後路，還在日本投降時賣死力為重慶接收維持各地治安，結果仍是被關押受審，直至瘐死於獄中。只有他胡蘭成，既不張揚其事地逃往日本，也不轉身反戈，希冀重慶的開恩寬大，既不自殺也不束手，而是拔腳悄悄溜走，沉入「民間」，流竄於浙江的山川湖溪，隱身於百姓之家，卻真的給他度過了這一劫難。
胡蘭成回到溫州，仍落腳在秀美家。秀美不在，他與老太兩人安排好柴米油鹽，就安心做自己的事。他開始讀書。
胡蘭成沒上過大學，也不曾拜師，若說有學問會做文章，完全是自學成才。自他中學畢業以後，讀書最多也最集中的時期是他在廣西的五年，再後就是在溫州匿居的這幾年了。他學無專攻，只憑性之所近所喜地泛讀，他讀佛經，也讀詩讀詞，讀《易經》，人在溫州，也順便讀清末經學大師、溫州人孫詒讓的《周禮正義》。他還買了本《嵊縣戲考》，是未經文人修飾過的草本，這於他倒是家學淵源，不幾天工夫都念熟了。
靜極思動，他又不安分了，於是向外聯絡以求伸展，他將自己的讀佛心得寫成，寄信往北京，求教於北大的廢名（馮文炳）[1]先生。求教於廢名，一則自然是廢名佛學的聲名，再則他與沈啟無共過事，廢名和沈啟無同為周作人的「四大弟子」，沈雖被周「革出教門」，但沈與廢名的交誼還在，胡蘭成《大楚報》所出叢書中，也曾為廢名出過一種，他對廢名的佛學不陌生。可他的學佛心得，卻被馮文炳來信批駁了一頓，落得個沒趣。
他與梁漱溟[2]的聯繫卻是順利，這要歸功於他去信去得及時。自「國共和談」破裂以後，原在民盟中積極參與國共兩黨談判的梁漱溟舉措失當，被周恩來嚴詞痛責一場，於是決定絕跡政治，在四川北碚專心辦他的勉仁書院，只議政不參政，可梁的理論還是受到了民盟內左派以及進步文化人的批評。胡蘭成反向而行，在信中竭力阿奉，稱頌梁為當今中國思想界第一人，然後再對其學問表示了一點「異議」。這種大捧小疵的議論最能得人的反應，果然梁漱溟給他回了信，並打聽他的來歷。他以假名「張嘉儀」對之，就此開始與梁通信往還。
胡蘭成這一段時間的讀書和與外面聯繫，都是在住家附近的圖書館，他自己回憶是這樣的：
我到籀園圖書館看報，留心在南京上海判決漢奸罪名諸人的消息，還有日本與德國也在審判戰犯。我且亦漸漸的借書看。這圖書館是清末經師孫詒讓的遺愛，如今館長姓梅，一個管理員姓陳，底下兩名助手，及一名雜役。這姓陳的帶有躄腳的殘疾，只小學畢業，也虧他苦出身，得列於溫州的讀書人隊裡。他倒與我攀談起來，我也想在此地能結識一個人，或可於我的安全有益。
他問知我只是做做單幫生意的，說道：「你借閱的書倒都是有程度的。」我說我做生意也是半途出家。他就要我投稿，《溫州日報》副刊有一個是他在編。我說文章只小時學寫過，向報上投稿更無經驗，只怕不中式。他卻道：「你只管試試，我看若可修改，就給你改改。」他因盛讚周作人的小品，我只傾聽，肚裡想周作人的文章的好處，就在他自己是個才華很高的，而能使斗筲之輩亦有他們的沾沾自喜。投稿的事我就承迎他，也是寫的小品文，但為謹慎，只擇佛經為題，而用詩詞的句子來解釋。我這樣的寫有好幾篇，多蒙他讚賞，改動得亦不多。
但是帶殘疾的人多有一種隱忍狠僻，顧己不顧人，這姓陳的更決不做無益無聊之事，我到底不能希望他介紹朋友，連想把我的通信處由他轉，和他亦沒有得可以商量。我惟在他那裡認識了《陳中日報》總編輯姓黃的，是藍衣社的人，《陳中日報》也在附近，我反為要小心。[3]
對胡蘭成這段記述，「事發地點」的溫州，也是《溫州日報》上，前兩年在胡蘭成《今生今世》在大陸出版發行之時，曾刊有一文，對其書中有關溫州時期的一段加以批評，指其所言不實，有關內容如下：
抗戰勝利後，深知自己罪孽的胡蘭成怕被國民政府緝拿，帶著一個寡婦作為身份掩護，慌忙逃到了溫州，隱姓埋名住在寡婦的娘家。當時寡婦的母親租住在九山湖竇婦橋邊徐宅大屋的一間陋室裡。附近就是溫州籀園圖書館。胡就經常到館裡閱覽報紙。他一是為了打發時光，二是關注漢奸通緝新聞，於是就成了圖書館的常客。
他穿著一身襤褸的舊長衫，一副瘦削的身子，一口標準的國語，一律對人低頭哈腰、裝得真誠與謙讓的樣子，很容易得到他人的信任。他到閱覽室大多是看些哲學方面的書，如馮友蘭《新原道》、《新原人》之類。他還向館員吹噓自己與梁漱溟是老朋友，要合辦什麼哲學學院。事實上他只是幾天前才與梁通過一次信，就到處招搖哄騙了。還說自己是跑單幫的，有兩個兒子在日本留學。當時張愛玲來溫見他，他倆曾在中山公園邊見面，他說自己將佛學禪宗講給張愛玲聽。不知其中有幾分真話。
在溫州時他成驚弓之鳥，十分警惕，改名張嘉儀，曾寫了題為《季嬤的兒子回來了》的小品，投稿給《地方新聞》，文筆倒顯清新，不愧「主筆」之名。而《陳中日報》社正在籀園邊，總編叫王沉，是郁達夫的朋友，是個生肺病的文人。並不是《今生今世》中所說的什麼姓黃的，更不是什麼藍衣社，這全是胡蘭成自己杯弓蛇影的杜撰之詞。後來他就嫌閱覽室太嘈雜，要求館裡安排另室供其研究學術。想必是嫌閱覽室目標太大引人注意。館裡還是滿足了他的要求，將書庫樓下的一個小間供他閱讀。可是別人對他的信任，他又隨便糟蹋了，竟偷喝了館員藏在櫃中的多瓶老酒汗。他經常在圖書館出入，本想通過籀園圖書館作為他通信轉寄處，以免引起當局注意。可是經過這次偷酒事件，館長梅冷生先生對其也甚為冷淡了。[4]
兩相比較，胡蘭成所言「與史實頗為不符」之處其實並不多，「不符」的即那位《陳中日報》總編輯不姓黃而姓王，南方人口音中「黃」「王」本無分別，這位王總編輯不是藍衣社軍統特務，而是「郁達夫的朋友，是個生肺病的文人」。但此文卻提供了胡蘭成其時活動的具體場景和細節，由此也可以看出胡蘭成自己記述的，在整體氣氛和傾向上是如何與事實「頗為不符」的。
「他還向館員吹噓自己與梁漱溟是老朋友，要合辦什麼哲學學院。事實上他只是幾天前才與梁通過一次信，就到處招搖哄騙了。」這位館員，應該就是胡蘭成所說的那位腳有殘疾的管理員，館員好心幫助他投稿，沒落到好，反而得一「隱忍狠僻」的評價，究竟怎樣「隱忍狠僻」，胡蘭成沒說。館員知道他與梁漱溟的關係如何如何只是吹噓，可能他與梁漱溟只通過一次信的事，落在了館員的眼中。這可能也就是他說「隱忍狠僻」的緣由。
胡蘭成說自己有兩個兒子在日本留學，他在自己的回憶中卻沒提及，他不說留學英美而說日本是合適的，因為中國在戰前到日本留學是很容易的事，兩國之間連護照都不需要，直接上船就可以到日本。再說他去過日本一次，又與池田等日本人交往，對日本也能夠說得出個大概。
可以看出，圖書館管理員和圖書館館長對胡蘭成還是很客氣的，見他這副只看哲學書的架勢，還專門為他找了個單間研究學問寫文章，可他卻偷圖書館的存酒喝。「老酒漢」酒是溫州當地的特產，是用糯米釀的叫做「米燒」或者「老酒漢」的高度酒。一般用楊梅浸泡，待酒變成紅色再喝，裡面的楊梅也很好吃。圖書館存的可能就是正在浸泡過程中的「老酒漢」，不意卻被他發覺，研究學問之餘之間隙，就躲在小間裡偷偷喝了。這是頗有點滑稽的，胡蘭成是蕩子，可他這蕩子在一些小節上能「蕩」到什麼程度，不清楚，這篇記述算是提供了一點根據。正史太正經，往往忽略了許多細節，需要野史補充，胡蘭成自己的記述那就更不可全信了，這種尷尬事，他人不說，他自己記述是絕不會提的。
有過這等事，館裡自然不會再對他怎樣，用籀園圖書館作為他的通信聯絡處自然不能成立，不是那管理員而是館長不會同意。孟甫文章認為，胡蘭成最後離開溫州往上海，在經過杭州看望夏承燾時對夏所言：「貞晦（劉景晨）慣於處窮，冷生則社會關係較好，依然長袖善舞也……」可見他對梅冷生先生的冷淡還是耿耿不忘。
可惜，文章作者不曾寫明其記述的來源根據，文章中所描述的胡蘭成當年模樣：「穿著一身襤褸的舊長衫，一副瘦削的身子，一口標準的國語，一律對人低頭哈腰……」若非自己所見，想必是聽他人道及的。
胡蘭成在籀園圖書館沒有大的進展，真正使他在溫州打開局面、立穩腳跟的，還是得益於結識劉景晨[5]老先生。
一天，胡蘭成見《溫州日報》上刊有題名「飲酒」五古詩一首，作者劉景晨，他和了一首投給報紙，《溫州日報》也拿來發表了。他說自己和詩，是因為原詩作得好，可主要還是出於他隱屈求伸的意圖。和詩發表，他欲藉機聯絡，卻不敢到報社去問。也虧他的腿腳利索、眼光尖銳，他從溫州最熱鬧處所五馬街走過，偏就在裱畫店裡看見了劉景晨的畫，他向夥計打聽，問到了劉的住址，是百里坊世美巷二號，可打聽了老先生的為人，卻令他不敢冒昧拜訪。
半個月以後，機會來了，報上註銷劉景晨義助小學校經費、開辦個人書畫展覽的消息。胡蘭成到時前往，只見一白鬚老人據案而坐，威嚴清淨，面貌有古風，胡蘭成上前趨問，因有和詩在前，劉老先生知道這位「張嘉儀」，兩人交談之下，劉問他家世，胡蘭成知道劉這輩人很看重這點，就冒用張愛玲的，答以河北豐潤，劉說豐潤前朝有張佩綸，他稱是先祖，劉道：「這是家學有傳了。」胡蘭成明白，這就相當於表示認可了，他連忙討問劉家住址，要上門拜訪。
初告成功，胡蘭成把握時機，隔了幾天才去劉家，他明白這是有身份的人家，需言談謹慎，態度恭謹，可剛剛坐定，劉老先生劈頭就是一句：「我這裡平常不要年輕人來，因為如今這班人總是想利用。」胡蘭成聽了一驚，他的心事恰被一語道破。自那以後，他小心地算定日子，每每隔個十天半月才去劉家一次，而且絕不開口提任何要求。不久，劉老先生來回訪他，恰巧他人不在，劉未進屋，只站在門口與秀美母親說了幾句，又留下幾包煙給他。劉老先生能來胡蘭成這裡看望，就是大成功，他人在不在無妨，周圍鄰居都知道了，這就能保證今後再也不會有人懷疑他的來歷了。
劉老先生地位尊崇，稱得上溫州第一耆宿，前清時做過縣長，民國初年曾為國會議員，還做過廈門大學教授，梅思平和國民黨的將軍邱清泉都曾是他的學生，歷來溫州行政專員和縣長到任，總先要來拜訪他。劉的學問也好，曾跟從孫詒讓，一生閱歷豐富，年輕時宦游四方，致仕後返歸故里只好學問文章，兒子都在外獨立，家中僅三個女兒陪伴。
胡蘭成需要小心的是，劉老先生與他完全相反，是個堅定的抗日派，戰時日軍來到溫州，地方上要他出面維持，被他嚴詞拒絕，反離家避居在外。抗戰勝利後，國民政府捕殺漢奸，來他家請求說情的他一個不見。在這樣的人物面前，胡蘭成不敢造次，不論劉老先生多麼看重他，他絕不敢道破自己身份。他去拜訪，本為尋求發展找一條路，但他知道此事不能性急，需要迂迴著慢慢來，於是他在劉家討問求學，談古論今，談浙江的章太炎、馬一浮、弘一法師[6]，只是不談自己的事。能在劉家來往是幸事，對他更重要的，能與劉老先生這樣的溫州頭面人物來往，對他的身份是最好的掩護，劉老先生成了他在社會上的庇護傘，他在溫州的安全再也不成問題了。