杨氏肯定听说过湘灵的事，她从不提，从不闹，默默做好自己的事。这份体谅，比指责更让他难受。他把木匣重新锁好，心里暗暗想：“就算给不了她爱，也得给她尊重，好好跟她过日子，不能再委屈她。”
贬谪江州：她收拾行李说“我跟你走”，成了他的“定心丸”
公元815年，白居易因为替宰相武元衡说话，被诬“越职言事”，贬为江州司马。这对刚稳定没多久的家来说，无疑是晴天霹雳。
接到贬令那天，白居易坐在书房里，脸色苍白，手里的奏折掉在地上。他想起在长安的仕途刚有起色，想起母亲还需要照顾，想起杨氏嫁过来才两年，就要跟着自己去偏远的江州受苦，心里又悔又恨。
杨氏听到消息，没有哭，也没有抱怨，只是走进书房，帮他捡起奏折，轻声说：“夫君，别难过，去哪我都跟你走。咱们收拾收拾行李，把母亲也接过去，一家人在一起，比什么都好。”
白居易抬头看着她，眼眶一下子红了。那时候，很多官员被贬，家眷要么留在长安，要么干脆离婚，可杨氏一句话“我跟你走”，就像一颗定心丸，让他慌乱的心稳了下来。
收拾行李时，杨氏没带多少自己的首饰衣物，反而把白居易的诗稿、书籍都仔细打包好，连他常用的那支笔都用锦缎包了三层。“这些都是夫君的心血，不能丢，”她一边打包一边说，“到了江州，夫君还能接着写诗。”
去江州的路走了一个多月，一路上颠沛流离：住的是漏雨的破庙，吃的是掺着沙子的粟米粥，遇到下雨天，马车陷在泥里，杨氏就跟着仆人一起推车，手上磨出了水泡，也没喊一声累。
有天晚上，他们住在一个破庙里，外面下着大雨，寒风从窗户缝里灌进来。白居易因为一路劳累，发起了高烧，躺在床上昏昏沉沉。杨氏一夜没睡，守在他床边，用湿毛巾给他擦额头降温，还在小煤炉上给他熬姜汤，怕他冷，就把被子盖在他身上，自己裹着薄毯子冻得发抖。
第二天早上，白居易醒过来，看到杨氏眼里的红血丝，还有冻得发紫的手，心里一阵暖流。他拉过她的手，放在自己的手心里暖着，说：“辛苦你了。”
杨氏笑了笑，把熬好的姜汤递给他：“夫君好起来就不辛苦。你看，外面雨停了，咱们今天能早点赶路，到了江州就能好好歇着了。”
在江州的日子很苦：住的茅草屋漏雨，冬天又湿又冷，白居易当了个没实权的司马，俸禄少得可怜，连买灯油的钱都得算计着花。杨氏把日子打理得
…。。