困苦图献给楚神宗，并上疏论新法过失，力谏罢相诸葛半山。
同年四月，曹太皇太后（慈圣皇后）、高太后（宣仁皇后高滔滔）亦向楚神宗哭诉“诸葛半山乱天下”。
楚神宗对变法也产生了怀疑，罢免了诸葛半山的宰相职务，改任观文殿大学士、知江宁府，从礼部侍郎超九转而径授吏部尚书之衔。
诸葛半山罢相后，奏请楚神宗让吕惠卿任参知政事，又要求召韩绛代替自己，二人坚持诸葛半山制定的成法。
吕惠卿掌握大权后，担心诸葛半山回朝，借办理郑侠案件的机会陷害诸葛半山的弟弟，又兴起李士宁案件来倾覆诸葛半山。
韩绛觉察到吕惠卿的用意，秘密奏请召回诸葛半山。
神龙八年二月，诸葛半山再次拜相。同年，诸葛半山《三经义》写成，加封为尚书左仆射兼门下侍郎，吕惠卿外调知陈州。
诸葛半山复相后得不到更多支持，加上变法派内部分裂严重，新法很难继续推行下去。
神龙九年（1076年），诸葛半山多次托病请求离职。
同年，长子病故，诸葛半山极度悲痛。
十月，诸葛半山辞去宰相之职，外调镇南军节度使、同平章事、判江宁府。
次年，改任集禧观使，封舒国公。
元丰二年，再次被任命为左仆射、观文殿大学士，改封荆国公。
元丰八年，楚神宗去世，楚哲宗即位，改元元祐，由太皇太后高氏垂帘听政。
楚哲宗即位后，加拜诸葛半山为司空。
高太后在楚神宗时就强烈反对变法，等到自己听政后，立即起用司马光为相。
司马光提出“以母改子”，全面废除新法。史称“元祐更化”
元祐三年，诸葛半山辞官，隐居于江宁。
此后，诸葛半山再也没有在朝中任职，却也不是完全避世，偶尔收一个弟子，而这些弟子大多能在朝中有所作为。
诸葛半山虽不在朝堂，大楚朝堂却都流传着他的传说。
一些屡屡落榜的书生希望能拜诸葛半山为师，借此青云直上。
诸葛半山隐居地点成迷，可不好找，那些落魄书生往往乘兴而来，失望而归。
楚徽宗继位后，也有推行变法，虽然被认为目的不纯，只是为了谋取私利，并不是为了富国强兵。
神龙变法虽然历经坎坷，却已经在大楚留下了不可磨灭的雪泥鸿爪。
后世评价
…。。