奎当然不会俯首认错，当下双方闹上仁宗那里，结果王安石一气之下便趁着为母丁忧的机会，解职回到金陵去丁忧了。不过双方也就留下了梁子。
现在提起王安石，吴奎一想到当年开封府的旧事，心中便恨得牙直痒痒，所以说道：“安石向任纠察刑狱，争刑名不当，有旨释罪，不肯入谢。意以为宰辅韩琦沮抑已，故不肯入朝！”
吴奎此时搬出宰辅韩琦，其中也是很有缘故地。大约在十五年前，当时韩琦官居扬州太守，王安石刚刚高中进士后，被授予签书淮南节度判官厅公事一职，那时王安石常常秉烛夜读，通宵达旦更是常事，只是在破晓时分的时候在义子上休息片刻，来不及洗漱便匆匆忙忙赶去办公，而韩琦一见之下，以为王安石年少得志，时常彻夜纵情声色，于是便谆谆教导：“君少年，无废书，不可自弃！”——“小伙子，趁着年轻，多读点书吧。不要自暴自弃。”显然这是善意的，可是王安石没有辩解，只是在三年任满后告诉朋友自己的上司韩琦不赏识自己。后来王安石的诗文声名鹊起，颇有成为一代像欧阳修那样的文学巨擎的架势了，韩琦才知道自己看走了眼，于是便对王安石加以提携，谁知王安石不买帐，始终对韩琦相当疏远。
曾公亮说道：“安石真辅相之才，奎所言荧惑圣听。”
吴奎反驳道：“臣尝与安石同领群牧，备见其护前自用，所为迂阔；万一用之，必紊乱纲纪！”当年除了在仁宗时代在开封府吴奎和王安石曾经因为刑狱而交过手外，早前他和王安石在群牧司相处的也不是很愉快，当年他们的上司便是名传千古的包拯。
不过相对于吴奎地阻拦，在王安石当时的名气下显得是那么的无力。此时王安石已经名满天下，被视为奇才。在七年前，王安石便在嘉佑五年的时候，便在千呼万唤中出任三司度支判官，地位仅低于“计相”三司使一筹而已，但他还是推辞了。天下的士子都认为王安石不同凡俗的行为之中，蕴藏了深不可测的才干与品行。
机关有吴奎的阻拦，英宗赵曙对王安石地大名早就如雷贯耳，决定启用王安石出任知江宁府。所有的大臣都认为王安石这次必定还会推辞，而和王安石关系甚深的龙图阁直学士韩维说道：“安石知道守正，不为利动，久病不朝，今若才除大郡，即起视事，则是偃赛君命以要自便，臣固知安石之不肯为也。若人君始初践后，慨然想见贤者，与图天下之治，孰不愿效其忠、伸其道哉！使安石甚病而愚则已，若不至此，必翻然而来矣。议者以为安石可以渐至而不可以遂召，不知贤
…。。