胡蘭成七八歲，入村上小學堂讀書。
胡父知書識禮，自己在家也教胡蘭成寫字，給他講文章，讓他早起練字，要求筆劃平直，結體方正，講文章卻是正經文章講，閒雜文章也講。胡父不是正途秀才出身，談不上怎樣的學問，教教小孩子寫字識字有餘，可講文章卻是不得法，於是講得正書如閒書，閒書如正書。父親不曾教胡蘭成音律，也不教他絲竹琴弦和地方戲，這是他喜好且擅長的，可他不願教自己的兒子，以此作為正經事來學他認為是玩物喪志。
胡蘭成十三歲那年，當地芝山小學舉行會試，方圓十里內小學和私塾各選拔四五個學生去應試。胡蘭成被胡村小學堂選出，坐著轎子去參賽。他還是初次見識這樣的場面，只覺得樣樣新鮮，人人開通明達，看看自己穿得一身土氣真是自慚形穢。考完回來，小學堂老師問起，同去的三個同學答得頭頭是道，只有他口訥無語，想是無望了。可結果發榜，胡蘭成考得最出色，獎到一部《史記菁華錄》[1]，還有獎金四角銀毫，另三個同學卻只得一支鉛筆或一錠墨。
胡蘭成讀書聰穎，尚須培植。小學堂只是村裡自設的學堂，類似於私塾，還談不上正規的現代教育。家教，顯然也不能指望。可接受正規的學校教育就要花費，家裡的窮困狀況是無法承擔的。胡蘭成的所有兄弟都不曾像樣讀過書，都是早早地出外學徒、當兵，若不讀書接受正規的學校教育，胡蘭成即便聰穎，也只能走兄弟們的老路，其歸宿也就不會與其兄弟相差多少了。
好在此前胡蘭成已認了上虞俞傅村的義父，此時已開始得到義父的資助，胡蘭成參加芝山小學會試，身上穿的就是義母做的衣衫。此後胡蘭成入高小以及其後的四五年中學教育，完全靠了義父母的資助才得以完成。
就在會試那年夏天，胡蘭成考進紹興第五師範學校附屬高小，插入二年級班。
這是胡蘭成第一次離家外出。農村孩子初到城裡，怕生露怯，同學大多是城裡人，胡蘭成常常受到欺侮。高小畢業後進紹興第五中學，情況仍是如此。同學中雖然也有不少紹興周邊農村來的學生，有諸暨、新昌、義烏、永康等地來的，可他們身高力強，城裡同學開口輕薄，他們嘴上說不過就動手，城裡同學就不敢再欺侮。可胡蘭成身小力單，只能採取另一種行徑，能避則避，能讓就讓，有爭執也絕不與人動手打架，只一門心思讀自己的書。
紹興第五中學，胡蘭成只讀了一個學期，學生鬧風潮，第二學期仍不罷休，學校遲遲開不了課。其時正「五四運動」之後，學生處於民眾注目的風頭之際，無論大事小事動輒罷課鬧事，各地學潮此起彼伏，風氣所及直到窮鄉僻壤。胡蘭成是個老實本分的農村學生，他既沒參加學生鬧事，甚至連鬧事緣由也不曾關心。學校久久不開課，他也就收拾收拾行李自己回了家。
在紹興求學兩年，胡蘭成開了眼界，認識了家鄉以外的世界。經濟上有義父的保證，平日吃住在三哥家，生活上心理上有依托和照顧，使他能一意讀書。可能是他常受城裡同學欺負的緣故，他對紹興人不太有好感，讀書之閒他就在紹興城裡城外到處看風景。紹興的名勝古跡他少游，在紹興近兩年，連城裡的禹陵和名聞天下的王羲之的蘭亭都不曾去過。他喜愛的還是與農村生活有關聯的去處。他常去水偏門，那裡四鄉各地來往的船隻密集，米市魚市交易熱鬧，人聲鼎沸，四周田疇伸展，城郭山川盡在眼前。
另有一處他常去流連的地方，就是三哥的兵營。三哥在兵營先任准尉庶務長，以後又任排長，在兵營中是個上下逢源的人物。大兵們多是農村子弟，比胡蘭成大不了幾歲，軍中無事，做學生的兄弟去玩，自是大受歡迎。對胡蘭成而言，自己的二哥三哥五哥都是當兵的，這些大兵熟稔得就如自己的兄長，比那些喜歡欺侮農村子弟的城裡同學要親切得多。
在兵營中，他與一等兵熊俊最要好。熊俊是紹興府新昌縣人，當兵前也讀過中學，是年熊俊十八歲，大胡蘭成四歲，兩人常在一起玩，熊還教胡蘭成學英語。可熊不安於兵營，不久就當了逃兵，離開了兵營。兩年以後，胡蘭成在杭州中學讀書，一天熊俊忽然找來，穿著件青灰布長衫，形容落拓，說想去上海找出路，苦於沒有路費，胡蘭成忙把自己一學期的零用錢兩塊銀洋取出，送他上了路。這一別，直到二十年後，兩人才在上海巧遇，熊俊已改名熊劍東，已是周佛海手下的一個實力派人物。此是後話。
胡蘭成還幫助過一個大兵汪如淵。汪也是新昌人，在兵營當下士，熊俊當了逃兵離開兵營後，胡蘭成只與他最要好。一日，胡蘭成到兵營，只見汪一人在操場上發呆想心事，便問他有什麼事，汪告之妻子病故，他一則傷心二則為家裡辦喪事發愁，他的餉銀不夠辦喪事用，胡蘭成忙說自己有，將未交的學費交給汪。汪如淵顧慮，胡只是個中學生，胡蘭成卻非常堅決，一定要汪拿去。汪想了一下，脫下手上的銀掛表塞給胡蘭成，對他說，萬一家裡問起，如此也可有個交代。二十年後，胡蘭成再遇熊劍東時，曾打聽汪的下落，得知汪在浙西南處州地區當師長。此時處州是抗戰區，與他們不是一個陣營，話自然到此為止。抗戰勝利後，胡蘭成逃亡浙江東躲西藏，路過麗水時曾動念去找汪托庇，可一打聽，汪已調防，只得繼續自己的逃亡之路。