虞允文趕到採石之後，現情況比自己想像的更加危急，王權逃跑時太過焦急，官兵爭奪船隻，因此翻船淹死的居然過了半數，僥倖渡過長江的大多不知所蹤。現在採石僅剩殘兵三千多人，而且士氣極其低落，由於主將王權不知所蹤，官兵們人心惶惶，少數人甚至連逃跑的念頭都興不起來，只是一臉木然地等著金軍過來俘虜。
無奈之下，虞允文急忙將那些軍官先召集了起來，曉以大義，並說明很快就有大量援軍趕來，軍心終於暫時穩住。可也有兩個畏敵如虎的軍官無心備戰，反而想找機會逃跑，並在軍營中大肆散佈悲觀的言論。結果虞允文連他們的名字都沒問，便命令時俊將那兩人斬示眾，一時全軍肅然。
但是，由於虞允文不是南宋官員，這戰功統計和犒賞就成了大問題，好在虞允文以民族大義為先，在來不及請示趙抗的前提下，許諾戰功將按照趙軍標準的犒賞。屆時立功的將士既可以選擇直接領取金錢，也可以選擇從此加入趙軍，官階和待遇只會上升不會下降，為了讓軍士們安心，虞允文許諾賞金先由趙國官府墊付，等日後再和南宋朝廷交涉。
在虞允文軟硬兼施之下，這支士氣本已瀕臨崩潰的隊伍終於又重新振作起來，而隨著散兵的逐漸歸隊，採石磯守軍的總兵力已經接近八千人，而這時金軍的主力終於向採石磯起了猛攻
虞允文命令陸軍嚴陣以待，暫時按兵不動，而將數量本就不多的水軍分成五隊，其中兩隊沿著東西江岸巡邏以防出現突狀況，並以信號旗協助虞允文指揮全軍；最精銳的一隊則開往江心準備截擊金軍；而剩下的兩隊則作為預備隊隨時支援。虞允文在兵力嚴重不足的情況下，還敢分散兵力，是因為他相信南宋水師的戰鬥力，另外，金軍人數太多，若沒有預備隊輪換的話，對方只需採用車輪戰，宋軍恐怕累都累死了。他剛指揮佈置完畢，金軍已經鼓噪大進，完顏亮手持小紅旗，指揮數百艘戰船渡江開來，一會便有七十餘艘大船抵達南岸，直接向宋軍動進攻。由於兵力眾寡懸殊，不少宋軍官兵心生怯意，金軍逐漸佔據了上風，恐怕不用多久便可以成功上岸了。
眼見形勢危急，虞允文視如雨的箭石如無物，來到陣前，對已經躍躍欲試的時俊看了一眼，下令道，「勝負在此一舉，現在就看你們的了，除非金軍撤退，不得後退一步！」
「得令！」，時俊大喝一聲，率領那三百勇士乘著預備隊的戰船如虎狼般衝向最近的金軍大船。兩船還未相接，時俊抽出一根毛竹在甲板上一點，借力衝上了敵船。隨著他如雷霆般地一聲大喝，時俊抽出了背上的雙刀，瞬即化作白光一片，擋者無不披靡，而他的部下見主將如此勇猛，也個個爭先，硬生生地阻住了金軍的猛烈攻勢。
金軍不習水戰是客觀事實，他們一時的勇猛不過是受到前期連番勝利鼓舞而表現出來的假象罷了，如今這股銳氣受到遏制，金軍很快便原形畢露，戰船上東倒西歪的比比皆是。而宋軍的水師主力也在時俊他們的鼓舞下向金軍的船隊起了勢不可擋的突擊
金軍的戰船雖大，但基本都是強征來的民用船隻，底闊如箱，行動不穩，而且金軍官兵又不熟悉長江水道，行動極其笨拙。而宋軍所用的海鰍船雖然不大卻異常結實，在它們的猛烈撞擊下，金軍的大船即使沒有斷成兩截，也大多嚴重損毀，連開動都很艱難。兩軍船隻的殘骸漂浮在江面上隨處可見，自然散出一股頹廢的美感，卻再清晰不過地顯示出了戰爭殘酷的一面。雖然時俊他們勇不可當，而虞允文的戰術也非常合理，但是雙方的兵力對比實在太過懸殊，平均一個宋軍士兵要對上一百多個金兵，就算他們站著不動讓宋軍來砍，宋軍恐怕都會全部累死，要不是仗著戰船的優勢和對水戰的熟悉，這一仗根本就沒有半點獲勝的可能。而且由於完顏亮下達了擅自後退者殺無赦的命令，金軍官兵一邊強忍著暈船的痛苦，一邊頑強戰鬥，雖然付出了大量的傷亡，但在天色漸晚之後，金軍終於又重新奪回了優勢。
好在天無絕人之路，就在這時恰好有一支潰兵從光州撤到這裡，虞允文頓時心生一計，便交給他們大量軍旗和戰鼓，讓他們從後面轉出來，以作疑兵。完顏亮生性多疑，果然中計，沒過多久就讓金軍主動退出了戰鬥。宋軍雖然初戰告捷，但傷亡也很大，沒敢追擊就撤了回來，只留下一隊在江面上巡邏以保持警戒。
白天一場苦戰之後，宋軍將士既興奮又疲憊，但虞允文的腦筋依然非常清醒，他知道現在還遠沒到可以放鬆的時候。虞允文知道金軍還會再來，命令水師主力移兵上游以壓制金軍，並在楊林河口佈置兵力，結果試圖偷襲的金軍果然一頭撞在了鋼板上
虞允文生性稍顯謹慎，所以在此前的北伐中表現並不能令人完全滿意，但他在防守時卻絕對當得起「無懈可擊」這四個字。完顏亮看到採石堅如磐石、難以攻下，只能率軍移師瓜州，準備奪回渡口，從那裡渡江。但很可惜，他嘗試的順序弄反了，如果先集中兵力占穩瓜州，再水陸兩面夾擊採石，虞允文縱有不世之才，也必然沒有回天之力。而現在，完顏亮注定要再碰一次壁了
趙慎雖然沒什麼軍事才能，但皇帝親臨前線對士氣的鼓舞是非同小可的，瓜州不是金軍的主攻方向，恢復士氣的宋軍光靠人海戰術就將渡口成功奪回，而先期上岸的千餘金兵不是被砍死就是跳了長江。這次太過輕鬆的勝利造成了一個假象，趙慎開始覺得只要自己御駕親征，便沒什麼敵人不能戰勝，這成為他日後悲劇的源頭。當然，至少在這次戰役中，趙慎還是揮了很大的作用。除了鼓舞士氣以外，趙慎若是戰死，趙抗即使不想當南宋的皇帝恐怕也不成了，而南宋的士大夫們只要想到這種可能，就不覺一身冷汗，所以他們無論如何都不能讓趙慎死在前線。正因為這樣，瓜州前線無論是糧草輜重還是各路援軍都是暢通無阻，即使是那些平時大撈海撈的貪官，這時也表現得堪比歷史上有名的廉吏