形成党羽之争，于江山社稷不利，也会阻碍陛下励精图治，可若是官职给小了，褚遂良毕竟曾是辅助大臣，这么安排也不妥当。
韩瑗建议陛下让褚遂良回来，他只考虑到褚遂良当初有恩于他，并未考虑陛下的难处，以及国家的得失，他身为门下侍中，怎能一己之利，而枉顾江山社稷，应当给予严惩。至于褚遂良么，如果陛下还念及褚遂良昔日之功，就让回乡养老吧。”
在说出这话时，长孙无忌的手在轻微的颤抖，但是身为政治家，为求达到政治目的，没有什么是不可以舍弃的，包括自己。经过此事，他已经决定彻底放弃褚遂良了，褚遂良如今回长安，会给关陇集团增加极大的危机。首先，褚遂良一旦回来，必定会众矢之的，而且李治也极不爽褚遂良，毕竟褚遂良当着李治的面，说李治****完全就没有将李治放在眼里。武媚娘也恨得他要命，再加上褚遂良憎恨韩艺，他没有办法从中调解。
最为主要的是，韩艺已经成为宰相，而且表现出非一般人的才智，长孙无忌不再需要褚遂良来抗这一面大旗，韩艺足以胜任，权衡再三，觉得褚遂良要是回来的话，百害而无一利，而且李治也不大可能让他回来，长孙无忌心想何不如为褚遂良争取一个颐养天年。
至于韩瑗，长孙无忌无非就是在试探李治的想法，如果李治铁了心要处理韩瑗，何不如由他来开这口，李治还会宽待韩瑗，不至于将韩瑗贬的太远，如果李治没有下定决心，那么李治肯定会看在他的面子，饶过韩瑗一次。另外，就是要保来济，整件事是韩瑗太勇猛了，惹怒了李治，也连累来济，他一直没有提来济。
因为长孙无忌选择了韩艺，重心就必须放在年青一代，这是一个关陇集团交替的阶段，他必须要精打细算。
李治听得心里真的非常感动，至少在这一刻，他觉得舅舅还是向着我的，其实长孙无忌说的就是他的心中所想，他从没有打算让褚遂良再回来，因为这回来的话，那就太尴尬了，而且韩艺、许敬宗、李义府他们也不会答应。至于怎么处理韩瑗、来济，李治倒是没有下一步的打算，因为韩瑗、来济已经失去了大半宰相的权力，就是一个公职人员。
李义府、杜正伦、许敬宗三人基本上在三省取得了话语权，留下韩瑗、来济也对他不会太有威胁，关键还是在于长孙无忌，他心想，舅舅都这么挺我，那我也不能把事做绝了，于是叹道：“还是舅舅明白朕的苦心，朕哪能忘记褚遂良当初的对朕的照顾，只是他把事给做绝了，没有给朕和他留下退路。至于韩瑗么，
…。。