在東京這邊，繼任東京留守的杜充，不但約束部下避免與金兵作戰，反而派遣他們幫金人掃蕩民間武力。
原來杜充是一個投機份子，心中根本不看好南宋，所以一上任便偷偷派遣親信前往金營，與金人達成協議，金人答應不攻打東京，雙方互不交戰，但杜充必須協助掃蕩兩河地區的民間武力。
他知道手下實力最強的人就是岳飛，所以故意命令他去討伐張用。
張用也是相州湯陰人，曾經與岳飛一起在周侗的武館學過武藝，還在湯陰縣擔任過「弓手」，因此與岳飛私交不錯，師兄弟經常把酒言歡；後來張用也響應宗澤的號召，加入抗金陣營。
岳飛當然知道杜充的用意，所以向杜充說：「張用擁兵數萬，我只有一千兵，實在對付不了。」
杜充陰險笑道：
「岳統制，本帥可是深知你的能耐才會做此決定；我且問你，自從你加入我軍，可有哪一次出戰不是以寡敵眾？」
岳飛答不出來。
「岳統制，本帥再問你，雖然你都是以寡敵眾，但是可有哪一次吃過敗仗？」
岳飛還是答不出來。
「岳統制，本帥又問你，你是否曾經不聽從上司王彥的軍令，擅自出戰？本帥已經查明，本案並未了結，只是當時被宗帥批示暫緩處理，如今我接任東京留守，當然必須負責做出最後的裁決。」杜充嘴角微揚，冷冷問道：
「岳統制，本帥最後問你一句，是否願意接令前往討伐盜匪張用？」
「末將領命。」
杜充走過來輕輕拍著岳飛的肩膀說道：「岳統制如果肯幫忙本帥肅清所有匪患，就是立了大功，后功可補前過，本帥保證將你那件舊案徹底了結。」
於是，當金人兵分兩路，勢如破竹打得高宗抱頭鼠竄，甚至被追殺到渡江逃命，然後又歷經苗劉兵變的驚嚇，搞到絕子絕孫的幾個月時間裡，岳飛卻受到杜充的威逼，以微小的兵力幫金人清掃門庭；面對人數數十倍的匪眾，岳飛雖然都能獲勝，但是又不忍施以重擊，心中實在充滿了無力感。
到了六月，金人看民間武力差不多清除殆盡，決定取下東京，將兩河地區全部納入金國版圖。杜充派人通知岳飛，說他決定放棄東京，將留守司撤回健康。岳飛馬上結束剿匪工作，匆匆趕回東京，並極力反對杜充的計畫。哪知杜充早已決心全面配合金人，根本不為所動，岳飛最後只好無奈地跟著杜充南下健康。
高宗前一段時間實在太過悽慘，自顧不暇，所以根本無暇去查明真正的狀況，身邊又沒有人能幫他做出正確的判斷，竟然認為杜充在宗澤去世之後將近一年，還能穩住東京不失，實在居功厥偉。一方面為了表彰其功，一方面希望他繼續發揮所長，穩住建康防務，以保障臨安的太平，所以破格將杜充升任右相，兼江、淮宣撫使，負責鎮守建康。
到了秋天，金人又是兵分三路。西路完顏昌攻打淮南，中路完顏拔離速、完顏穀英、耶律五碼由黃州渡江屠洪州，劫掠胡北、江西一帶，東路由金兀朮親自率領，聲稱這次一定要活捉趙構，終結南宋。
杜充還是老招，不與金兵對抗，只在十一月派遣水軍攻打賊寇李成；結果金兵支援李成擊敗宋軍，擄獲大量船隻。金兀朮也不攻打健康，繞道健康西南的馬家渡，準備渡江直下江南。
杜充聽到金兵即將渡江的消息，怕事後被追究責任，倉促派遣都統制陳淬，率領岳飛、戚方，統兵二萬前往馬家渡阻擋金兀朮，另由王燮率一萬三千人策應。
結果王燮臨陣脫逃，陳淬戰死，只有岳飛力戰之後，暫時屯兵在建康東北的紫金山。
杜充接到馬家渡戰敗的訊息后，率領親兵三千棄城前去投降金人。
鎮守江寧的陳邦光，以及鎮守建康的杜充，兩人先後投降之後，金兀朮再無阻礙，率領大軍渡過長江，展開所謂「搜山檢海」行動，鎖定高宗一路追擊，金兀朮還再度公開宣稱，即使高宗上山下海，都一定要將他活捉才願意北歸。
他先攻下湖州，進逼臨安，高宗匆匆逃到明州；金兀朮接著佔領臨安，一面派訛魯補、術列速領軍擊敗宋將周汪軍，攻佔越州，一面遣阿里、蒲魯渾率領四千精兵渡過曹娥江，在明州城外二十五里處大破宋軍，高宗被迫從明州搭乘大船出海，浮遊海上。
其實高宗浮遊海上並不是臨時起意。
金人渡江之後，高宗就與宰相呂頤浩商討過，萬一有一天被金兵追殺時，應該逃往深山還是大海？
呂頤浩說：「金人以騎兵取勝，萬一皇上需要避難，帶著一大夥皇親貴族，文武百官，親兵侍衛，再加上他們的家小，如果走陸路進入山區，道路崎嶇，不但狹窄難行，更怕糧運不順，早晚會出問題。而且金人既渡浙江，一定會分遣輕騎追襲，很快就會被他們追上而遭不測。如果皇上乘坐大型海船以避敵，既然脫離陸地，敵人最擅長的騎兵也莫奈我何。而且江浙氣候比較熱，敵人無法久留。我們姑且暫居海上，等到他們北返我們再回來。總之他來我們就出海，他去我們就登陸，這就是兵家所謂之奇道也。」
--