何去何從的討論從一開始就分為三派意見。
文官的代表虞琪（他出使漢部才回來）主張去和兵馬大元帥趙構會師，鄧肅則建議前往登州依附漢部，血性的將領如王彥等則主張趕緊募集義兵入京師赴難。
曹廣弼心道：「若往南依附兵馬大元帥，我等仍要受其節制，施展不開手腳。若是前往登州，這一萬人裡只怕有六七千不肯相從。」想起種師道的話來，便道：「東南是偷安之地，這一去要何年何月才能回來抗金？我們現在兵少將微，此時回汴梁去無異於送死。若要一心死難，何必突圍出來？如今既然出來，自然要留有用之軀為有用之事！」
王彥問道：「曹先生，那你的意思是？」
曹廣弼道：「金人雖攻破了汴梁，但這裡是中原腹地，宗翰、宗望勢不敢久留，得了便宜後仍必回去。我有意移師北上，會合河北義軍截其歸路！此事極險，不知你們可敢相從？」
王彥等欣然道：「殺敵報國，豈憚奸險！」
文官或有膽怯的，但這時為眾議所激，便不好反對。
鄧肅道：「我們如今雖有萬人，但泰半是未經訓練、不能作戰的官民，五千兵馬也不能稱為精銳。無論是阻擊金人也好，驅逐胡馬也好，都還要找個地方休養整頓才是。」
曹廣弼道：「最好的休整之地，那自然是江南——但我們能去那裡苟且麼？胡馬如此猖狂，我們如今除了龜縮退卻，就是逆流勇進！人是磨出來的，精銳是打出來的！若是吃不得苦的人，便請自回江南去。敢留下和我們共患難的，都要做好出生入死的準備！」
王彥酈瓊等都道：「不錯！」
鄧肅道：「但打仗終究要錢糧！沒有錢糧，如何養兵募兵？」
林翼道：「錢糧的事情，我來想辦法。」
鄧肅問道：「像這個村莊這樣的秘密倉庫，你是不是還準備了幾座？」
林翼笑道：「我確實準備了幾個倉庫，但都在河北山區。這個不是我準備的，是我問一個叫陳楚的商人借來的。總之錢糧的事情大家不用擔心，只要是商路通得了的地方，我就會有辦法。」
計議既定，曹廣弼便出去召集人眾道：「天降奇禍，汴梁失守！我等力量微弱，無法扭轉困局，又不願坐困等死！如今胡馬氣勢洶洶，是好男兒的焉能不為保華夏、安黎民出一分力氣？如今我要犯險北上，伺機阻截金人後路，傳檄兩河，共抗金兵！你們可敢跟我一起去？」
數千兵將都叫道：「願隨曹先生北上！」
酈瓊站出來道：「曹先生在漢部為將，到了大宋便是一介布衣，但如今既然行軍起義，不可無名，再則曹先生臨走前已請得御筆募兵抗金，不如我們便推他為領，權稱統制，請虞大人為監軍，王彥先生為副統制，鄧肅先生為參謀，以抗金為義，行軍伍之事！如何？」
眾人都道：「願奉曹統制令！」
當下曹廣弼分派任務，開拔向北，命林翼想辦法募集錢糧。又分別派遣使者前往津門、東平分別告知趙構和楊應麒。趙構這時極為虛弱，只要是能爭取的力量都盡力爭取，何況曹廣弼還身懷御筆，因此不但默認了這支義軍的存在，而且還派人送來了一支錦旗。
曹廣弼部勒這批人馬沿途北上，在黃河邊上遇到宗澤的哨騎。原來宗澤的兵馬已到開德府，一路與金兵偏師邀戰，互有勝敗。曹廣弼以奇兵攻陷金軍在衛南的據點，派人與宗澤通問消息。宗澤聽說曹廣弼從汴梁出來，率領數十騎連夜到衛南與曹廣弼相見，打聽京師消息，聽說京城已破、宰相準備投降不由得憂憤幾欲淚下。
宗澤任副元帥以來連番上書勸抗趙構趕緊入京勤王，但趙構哪裡理他？趙構身邊這時已經聚集了五六萬人馬，但就是縮在山東按兵不動。宗澤雖然忠勇，但他只是一心為國，憂君憂天下，就是沒有設身處地地替趙構想想：冒險入京去救父兄符合他趙構的利益麼？所以宗澤雖然身居副元帥，在磁州又有保駕之功，卻是和趙構越走越遠。
不但趙構如此，兩河、山東的其他守臣當此時局也大多在觀望。宗澤到開德府以後曾先後移總管趙野、兩河宣撫范訥、知興仁府曾楙合兵入援。但這些人都認為這個節骨眼上前往汴梁無異於送死，因此無人理他！所以宗澤雖然號稱副元帥，但手下的兵力極為有限。這時他見曹廣弼手下人強馬壯，就想以副元帥的身份徵調這支隊伍。
這一路來曹廣弼將願意相隨的一萬多人分為戰鬥隊伍和非戰鬥隊伍，數千官民都已安排作了後勤。又沿途招募兵勇，汰弱選強，以實戰來作訓練，所以數量已經增加到七千人的戰鬥隊伍成長很快。加上這支軍隊使用的都是漢部提供的兵器甲冑，裝備雖還比不上曹廣弼在遼口的嫡系人馬，但比起手下只有一群廂軍、義軍的宗澤來說已經好多了。
曹廣弼聽宗澤要徵調自己這支人馬，便問他要徵調來幹什麼，聽宗澤回答說要入京赴援後便拒絕了，認為汴梁形勢已不可為，孤軍入京赴死徒然無益。
宗澤道：「四方勤王之師若至，或有奇變也未可知！」
曹廣弼反問：「四方勤王之師在哪裡？」
宗澤默然，曹廣弼道：「若四方勤王之師大聚，曹某還需要從京城裡突圍出來麼？」又跟宗澤分析宗翰、宗望的兵力道：「太原之戰宗帥又不是沒看到，金兵圍城打援的手段何其了得！現在汴梁已落入金軍手中，除非是我們能組織起足以壓制金軍的兵力，否則軍隊是去一支，死一支！這一萬多個兄弟願意把性命交到我手上，我便不能讓他們去無謂之險！」
宗澤慍道：「然則君父之憂，曹將軍就不顧了？」
曹廣弼道：「華夏眼看就要顛覆，萬千生民或將左衽！若不論事情是否可行，光是考慮忠義之名有何用處？」
其實兩人的根本分歧卻不是在戰略戰術上，而是在忠君報國這等義理上互相不對胃口，所以到後來越說越不攏，終於不歡而散。
宗澤是怒火疾雷般的脾氣，卻不是一味逞怒的匹夫，當時雖然不忿，但事後想起覺得曹廣弼所言未必沒有道理，而他關於阻截金軍歸路的建議也未必不可行。他是坦坦蕩蕩的大丈夫，既然覺得自己言語太過，回去後便移書致歉，並與曹廣弼討論該在何處截殺金兵。曹廣弼也服他忠義無雙，對於初次見面的爭執並不掛懷。
曹廣弼在衛南並沒有停留多久便率眾渡河，駐紮在湯陰與內黃之間進行第二次短暫休整。一路不斷有漢部的官辦商人來附，這些商人既做自己的生意，又幫義武軍籌措軍糧物資。到渡河時軍中已聚集了上千人的商隊。
這支人馬一路北行，見金兵就打金兵，見流寇就打流寇，這時宗翰和宗望的主力都還逗留在汴梁，所以一路上的偏師都不是曹廣弼的對手，至於那些流寇就更不用說了。
曹廣弼逢州過縣都出示趙桓的御筆以及趙構的錦旗，又從不入城，只是在城池之外安營紮寨，因此與大宋的守臣們相安無事。威名漸漸傳開以後，小股的金兵和流寇都不敢來犯，所以這支隊伍所到之處不但沒有擾民，反而起到了安定民心的作用。隨軍的商人或入城內、或下農村採買物資，由於買賣做得公道也頗為受到沿途百姓的歡迎，慢慢地在黃河沿岸建立起良好的聲譽，並開闢出一條民間商道來。
曹廣弼有意和種彥崧的忠武軍會合，因此在相州駐紮了一段時間後又移師北上，到了淇水附近聽說隆德府無人把守便領兵前往，進入上黨。原來宗翰大軍南下以後，河東官吏紛紛棄官難逃，所以竟然連上黨這樣一個重要的所在也空了！
上黨是王彥的老家，有他在這一帶的關係網絡，曹廣弼等很快就站穩了腳跟。曹廣弼見此處攻守兩便，所以來到後就不走了，反而讓林翼移書種彥崧，邀他前來會師。