他鼓吹楚州无险可守，不用修筑城墙，蛊惑军心，涣散三军斗志。
于是对岳飞早就心怀不满的赵构借此大做文章，高谈阔论“山阳要地，屏蔽淮东，无山阳则通、泰不能固，贼来径趣苏、常，岂不摇动？”，痛斥岳飞糊涂，包藏祸心。
而右谏议大夫万俟卨（音同“莫齐谢”）也在秦桧的授意之下，给岳飞列出了三大罪状：
一、爵高禄厚，志满意得，平昔功名之念，日以颓情；
二、在柘（音“这”）皋之战前，稽违诏旨，不以时发，久之一至舒、蕲（音“齐”），匆促复还；
三、谓楚州不可守，沮丧士气、动摇民心。
要求罢去他的副枢职事，出之于外。万俟卨之后还有御史中丞何铸和殿中侍御史罗汝楫相继上疏，他们在张俊和万俟卨的说法的基础上，又说岳飞“被旨起兵，则略至龙舒而不进；衔命出使，则欲弃山阳而不守”，“妄自尊大，略无忌惮”，又劝说赵构对岳飞火速处分，“俾就闲祠，以为不忠之戒”。
八月九日，岳飞被罢枢密副使，充“万寿观使”的闲职，岳飞自请回到江州庐山旧居赋闲。
岳飞此时已无兵无权，但对他的迫害却仍在步步紧逼。
在秦桧授意下，张俊利用岳家军内部矛盾，威逼都统制王贵诬陷岳飞，王贵屈从；又收买张宪部副统制王俊，让其出面首告张宪“谋反”，从而牵连岳飞，并命人代他写好一份告首状。
王俊利用张宪出外之机，先将告首状投送王贵。王贵又将此状送交秦桧心腹林大声。林又将此状转递到枢密行府张俊的手中。不久张宪来到，张俊便就势将张宪逮捕。
张俊私设公堂，向张宪严刑逼供，毫无结果之下，竟捏造张宪口供“为收岳飞处文字谋反”。秦桧派殿前都指挥使杨沂中秘密拘捕岳飞，并嘱咐：“要活底岳飞来！”岳飞虽已知杨沂中来意不善，还是毅然随之而往。
十月十三日，岳飞被投入大理寺狱中，此前其长子岳云也已下狱。
岳飞义正词严地面对审讯，并袒露出背上旧刺“尽忠报国”四大字，主审官何铸见此，亦为之动容。何铸查得岳案冤情，如实禀告秦桧。秦桧却说：“此上意也！”改命万俟卨主审此案。
万俟卨将王俊的诬告状等摆在岳飞面前，喝问道：“国家有何亏负，汝三人却要反背？”岳飞回答：“对天盟誓，吾无负于国家。汝等既掌正法，且不可损陷忠臣。吾到冥府，与汝等面对不休！”万俟卨又说：“相公既不反，记得游
…。。