有一次，刘禹锡来看他，读了他的《宫词》，说：“仲初，你这宫词，写得比乐府诗还动人。别人写宫怨，是站在外面看；你写宫怨，是站在宫女心里看。”王建笑了笑：“其实都一样，不管是民间还是宫廷，只要是人，就有苦。我只是把看到的、听到的，写下来而已。”
晚年的王建，身体越来越差，经常咳嗽，冬天更严重。他还是每天写诗，写累了就坐在院子里晒太阳，想起年轻时的日子：在颍川啃冷馍、在边塞扛冻、在昭应县替农民交税、在长安跟张籍喝酒……他觉得这辈子，没白活——虽然官没当大，但他写了很多诗，这些诗里，有老百姓的苦，有宫女的寂寞，有朋友的情分。
大和四年（830），王建在陕州司马任上去世，享年六十四岁。他去世后，家人整理他的遗物，除了一箱子诗稿，只有几件旧衣服、几本书，还有张籍当年送他的那件厚棉袄——虽然已经破了，却一直被他珍藏着。
后来，有人把他的诗编成了《王司马集》，里面的乐府诗、宫词，流传了一千多年。人们读他的《田家行》，会想起农民的苦；读他的《水夫谣》，会想起纤夫的累；读他的《宫词》，会想起宫女的寂寞。
王建这一辈子，没当过大官，没享过福，可他用一支笔，把人间的苦都写了下来。他就像一个“记录者”，不管是寒门的挣扎、边塞的残酷、下僚的心酸，还是宫廷的寂寞，他都记在诗里，告诉后人：不管在哪个时代，都有一群人在苦日子里挣扎，也都有像他一样的人，在为这些人说话。