紹興六年九月，劉光世因為怯戰勾結趙鼑欺騙朝廷，將軍隊從廬州前線撤退到長江沿岸的當塗，若不是張浚明察秋毫，即時出面力挽狂瀾，差一點就把淮右一帶斷送給偽齊，甚至威脅到朝廷的安危。
這個事件受到朝野人士越來越嚴厲的指責，首當其衝的趙鼑、折彥直等人都被逼相繼離開朝廷，出任地方官去了。至於當事人劉光世，大家都說他臨陣退縮，幾乎釀成大禍，後來雖然還是打了勝仗，似乎可以補過，但是這種心態卻絕對不適合繼續擔任大將，掌握重兵。
有一批專門喜歡落井下石的人，紛紛說他的軍隊一向軍紀很差，將校士兵都蠻橫不講理，不容易指揮節制。身負全國最高軍事統帥「都督諸路軍馬」的張浚，自淮西歸來之後，也說劉光世沉溺酒色，不關心國事，所以必須馬上解除他的兵權，藉以警惕其他的將領。
在這層層聲浪的壓力下，高宗當然也很想罷黜劉光世，只是接替的人選還未決定。所以他命三省樞密院一再以《省札》傳達旨意，要岳飛前來行在所奏事，表示岳飛至少應該是他考慮中最合適的人選之一。
岳飛一直到紹興七年三月才在建康晉見高宗。這次見面地點還是在御書房。
高宗正在書房練習書法，當了皇帝之後他就不再練武，所以除了女人之外，這就是他最大的興趣；除非像逃難時不得已，否則他每天都要練練字。
行過君臣拜見之禮后，高宗讓岳飛看他所寫的，原來只是「李馬泥馬」四個字而已。
「朕一生中最自豪的幾件事，像是博聞強記、可挽強弓，結果都輸給你；幸好還有一項書法勝過你，聊表欣慰。」高宗笑著說：「不過朕還有一項專長，很少讓人知道；朕很會相馬，好馬壞馬，只要讓我聽一聽牠的馬啼聲，即使隔著一面牆看不到，朕也可以分辨出來。」
高宗又問岳飛：「對你們武將來說，一定要擁有一匹好馬，打起仗來才能得心應手啊！是嗎？」
岳飛說：「臣曾有兩匹馬，很難伺候，每天要吃幾斗的飼料，喝十斗的泉水，而且必須挑精美乾凈的才吃；若是披上鞍轡奔跑，起初沒有很快，等跑了一百里才開始快速奔跑，從中午到黃昏，還可以再跑二百里，卸下鞍轡之後，不喘氣也不流汗，好像沒事的樣子。不幸這兩匹馬接續死了。我現在所騎的馬就簡單多了，每天吃的不多也不挑食，喝水從不選擇泉水，繮繩還沒拉好，就跳起來急速奔跑，才跑一百里，就用盡了力氣而流汗喘氣，幾乎快要死的樣子。」
高宗點了點頭說：「你現在所騎的就是標準的劣馬，牠好駕馭，又吃得少，容易滿足，躍躍欲試愛表現，可是很容易力氣衰盡無法持久，偏偏一般人卻喜歡這種才能低下的劣馬。至於你以前那兩匹，表面上看起來爆烈難馴，不好駕馭，而且十分挑食很難滿足，可是只要讓牠順服就是一匹持久耐勞的好馬啊。」
「皇上是在教臣下如何用人吧。」岳飛笑著說：「臣岳飛瑾受教誨。」
「彼此彼此，朕也正在慢慢琢磨體會。」君臣兩人相視一眼，不約而同哈哈大笑。
笑了一陣子之後，高宗問岳飛說：「說正經的，你對朕的一切都清楚不過，你認為朕這個皇帝當得如何？」
「當年你一個剛滿二十歲的小夥子，突然遭逢國破家亡，整個天下大任全部落到你的肩上。你只能號召四散的文臣武將來維持國家的運作，剛開始幾年還要不斷逃避金人的追殺；經過十年擁有這個局面，我打從心裡佩服你，我以你這個朋友的成就為榮。」
岳飛慢慢地說，前塵往事一幕幕迅速地掠過高宗眼前，累積多年的心酸霎時籠罩了他的心頭，眼淚不禁奪眶而出。
「所以你絕對有資格說，如果沒有岳飛，沒有李馬，就沒有今天的朕；但是我也可以說，如果沒有朕，就沒有今天的岳飛──至少沒有今天的岳太尉。」
高宗招了招手，韓誠就不知從哪裡搬來一大疊帳冊，隨意抽取一本翻開，上面記錄著某年某月某日，發給岳家軍軍器、糧草、軍費、布匹等各若干細目等等。
「皇上說你岳家軍屬於指標性部隊，又打著絕對不搶掠擾民的口號，所以將你的後勤補給特別交給我最優先辦理，就算其他單位都缺糧，獨獨不準缺你的糧。所以只要碰到短缺時期，你都不知道我置辦得多麼辛苦？尤其這幾年你人數快速增加到超過十萬，不管是鄂州還是襄陽府都在上游，東西備齊還需籌船隻逆流而上，所以有時候稍慢一點還請多多包涵。」
岳飛對於補給不足只好放棄北伐之事，本來想大發一頓牢騷，這時也只好忍住，依例叩頭謝恩。
臨別之前，高宗突然冒出一句話說：
「劉光世掌管的二十萬淮西軍，朕想把他收回來，只是還沒決定交給誰，如果交給你，你覺得如何？你先研究一下，以後再作決定。」
劉光世自己知道待不下去，便向朝廷送上奏章，自請解除淮西軍兵權。高宗收到奏章之後，跟左右的人說道：
「劉光世對於軍隊的訓練，遠遠不如韓世忠、張俊等人，更別說與岳飛相比了。他這支部隊的素質，本來是全國數一數二的精銳之師，極為驍勇善戰，可惜主將過於怠惰，每個月耗費了那樣多的銀錢米糧全是民脂民膏，卻由於缺乏訓練、無法奮戰建功，實在太可惜了!總之，將帥絕對不可驕惰，更不可沉迷酒色。」
三月十四日，岳飛收到兩份公文。
第一份是諸路軍事都督府張浚發來的，其中依次列舉了淮西軍所有將領的名字，以及各人帳下官兵與馬匹的數量，希望岳飛看了之後隱密收藏，而且暫時不要跟屬下說起這件事。」