百姓聞訊，攔阻在岳飛的馬前，哭訴說擔心被金兵秋後算帳：「我等戴香盆、運糧草以迎官軍，金人全部都知道。岳帥這麼一走，我們大家哪還有活路？」岳飛無奈，含淚取詔書出示眾人說：「皇上命令我絕不能擅自決定留下來。」於是哭聲震野，人心絕望。
岳飛決定留軍五日，以便當地百姓隨軍南遷，不料願意跟著南遷的人太多，所以緊急上奏朝廷，以漢上六郡間田來安置他們。
岳飛班師途中，前幾天連發的捷報才陸續到達臨安，滿朝上下都知道這一次陰錯陽差，因為訊息往來費時造成的資訊時間落差，同時又不信任前線大將，導致失去中興的大好良機。可是因為此事是由高宗與秦檜主導，沒有人膽敢揭他們的瘡疤。
高宗深覺懊惱，於七月二十五日命令楊沂中的殿前司軍從臨安府開赴淮南西路北上待命，併發手詔，改令岳飛不必急著趕來覲見，暫時留在京西觀察金人的動向。
楊沂中的殿前司軍於八月中到達宿州，以五千騎兵夜襲柳子鎮，卻不見金兵蹤影。回程遭遇金軍的重兵埋伏，一接觸就不戰而潰。金軍乘勝奪回宿州，並因為當地人曾經歡迎過宋軍而進行報復性屠城。所以岳飛根本連這份手詔都沒接到。
總之，在岳飛前往臨安途中，不斷接到高宗的手詔，表示他在接到後續戰報時的心情一直起伏不定；其中更夾雜著秦檜以三省、樞密院名義遞發的省札，其內容經常自相矛盾，顛來倒去，顯然有其個人意圖在內。不過到最後則是趨於一致，命岳飛以最快速度前往覲見。
岳飛還沒到達臨安，就聽說金兀朮原來已經拋棄汴京北逃，有一位書生騎著快馬去追他，告訴他岳飛奉旨班師的事，他才又回到汴京主事。
岳飛不禁苦笑著跟身旁的人說：「這種賣國求榮的臭蟲，充斥在我們左右，我們才這麼舉步維艱啊。」
這時驛館的人正好傳來最新消息，楊沂中兵敗中原，宿州再度淪陷，岳飛頓時感到自己的心在絞痛淌血，只能長嘆：「天啊！將士們用性命奪回的土地州郡只是一場空！江山社稷中興無望！乾坤世界也沒有機會恢復正常！」
岳飛的第四次北伐，就這樣莫名其妙地半途而廢，宣告失敗。
岳飛氣沖沖地走進高宗書房。高宗馬上搶先說：「我是皇帝，無論如何都要先讓我說完三點聲明。第一，這次會造成這種結果，我也十分懊惱，但是只能說是造化弄人，因為最主要的原因是時間差；第二，連發十二道金牌以及上面那些嚴厲的措詞，都是秦檜他們搞的，跟我無關；第三，韓誠跟我說他手中的東西都給你了，若要繼續下去可能隨時又要斷糧了。」
岳飛本來滿肚子氣，一進來被擋住，接著又聽高宗說完，突然覺得不知從哪裡開始說起。
「你既然覺得那麼有把握，為何不派馬成回來說個明白？」韓誠說：「從朱仙鎮到臨安兩千多里路，他不用三天就可到達，只要你能打下汴京，把金兵趕到黃河以北，整個局面就漂亮多了。」
「那時不巧正好讓他去河北連絡義軍，根本不在；而且一切都十分順利，沒打過任何一場敗仗，哪裡會想到你們會發出班師詔，而且還這麼急？」
「都已經聲明過這是秦檜他們乾的，跟我無關了。」高宗咄咄逼人地說：「而且這隻能怪你自己，抗旨違令的前科累累，怎能責難別人？」
「難道被好朋友耍陰吃了暗虧，也不能藉故發一發小脾氣嗎？」
「那個絕對不是耍什麼陰招，所有的來龍去脈待會兒再說給你聽。」高宗說：「第一次你說要為母守孝，以表你的孝心，這一點可以理解，即使連續拒受詔命，因為你後來還是以國事為重復出視事，大家也都不太計較。但是後來這一次，你再度以為母守孝來抗命就不高明了；全國上下都知道，你是因為我不准你合併淮西軍才擺臉色給我看。我早就知道你的脾氣，早晚會耍出這一招，所以才寫郭子儀的傳記給你看，我當時告誡你的話你都忘了嗎？」
「好吧，你就說一說淮西軍一事最後變卦的原因吧。」
「我跟張浚一開始都是希望將它併入岳家軍，所以才會主動去跟你說；你想想我們總不致於那麼無聊，先去撩起你的興緻，然後再拒絕你，故意惹你生氣吧？」高宗說：「可是看你事後那麼生氣，又耍小孩脾氣，似乎認為我們是存心耍你，實在是太小看我們了。」
「其實主要是我的意見，」韓誠接著說：「以你們現在十餘萬人的規模，後勤補給大概可以支撐三個月，之後就要勉強拼湊，但是頂多也只能再多撐一個半月。如果合併淮西軍，由於他們本來的糧餉就有打折，若併進來之後改發全額，一但全部動員北伐，我根本撐不了兩個月。」
「再說你們如果合併完成，岳家軍總人數可能達到三十萬人，且不說你那小心眼的老上司張俊會怎麼說，你認為韓大叔也會樂見其成嗎？」高宗又說。
「好了，不說了，」岳飛說：「總之我一張嘴說不過你們兩張。」
岳飛將郾城與穎昌大捷的過程簡單敘述給高宗、韓誠聽，順便告訴他們，這兩個戰役對女真族絕對已經造成重大的傷害！我估計他們至少一二十年之內無法彌補回來。
「你的能耐，我與皇上還不清楚嗎？我統計過，你這一生有參與指揮的大小戰役共一百二十六場，未嘗一敗。這其中包括對陣戰、野戰、攻堅戰、防禦戰、山地戰、水戰等，此等成就，絕對是千古未有啊。」韓誠說：「其實也沒甚麼好奇怪，你是武曲星轉世，一般凡人當然打不過你。」
高宗靜靜地聽著，一句話都不說。
「皇上有心事喔。」
高宗說：「剛才說岳帥的孝心天下皆知，朕呢？朕的孝心有人知道嗎？太上皇已經駕崩了，我的母后還在北方受苦。如今我註定絕後，母后是我唯一倖存的親人。根據秦檜之前與金人的協議，他們答應今年之內便會將我母后與太上皇的靈柩還給我。可是經過這一仗絕對又會變卦，成為朕遙不可及的夢想。岳帥，你願意盡量幫朕達成願望嗎？」
高宗取出一盒象棋與一塊棋盤。
他把紅方的帥、仕、相、俥、馬、砲、兵都按位置排好。
接著排黑方，他取了「將」排在中央：「這是朕。」
接著在「將」的左右各排上「士」：「這是韓世忠。」
接著在「士」的左右各排上「象」：「這是四川吳璘。」
然後擺上五個「卒」：「這是張俊、楊沂中等廢物。」
最後安安穩穩擺上一個「車」：「這是岳帥。」
高宗伸手把紅方的兩個「俥」都拿掉：「不錯，我認同當今全天下只有岳帥一人當的了『車』這個角色；岳帥的確縱橫天下，無堅不摧，全金國無人能敵，但是士象只能防守，卒的力量薄弱，朕雖擁有一隻車，可惜孤掌難鳴，棋界早有名言曰『單車不殺鬼』；意思是說沒有馬與包，只有一隻車絕對無法取勝，最多只能勉強求和。還要遭受對方雙馬雙砲的攻擊，如果出錯還會輸。你說朕我手上這盤棋，朕到底應該怎麼下呢？」
岳飛看著棋盤，仔細核對現實狀況，最後只感到全身無力，幾乎連站都站不穩。
「朕知道你箭頭所指攻無不克，但是朕沒有人可以去守，勉強派了也守不住，所以北伐至少在目前沒有任何意義。
「但是你目前所完成的工作太重要了，朕所希望的正好就是這種狀況；你動搖了金國的根本，使他們中短期都沒有能力再大規模作戰，需要休養生息。所以雙方都不想再啟戰端，相安無事，讓之前和議的程序繼續走，朕把母後接回來奉養，朕所要的就只有這樣而已。」
--