对南宋皇族和官员的处理，在霹雳军高层内部引起了激烈的争论。伯颜建立伪政权后，将傀儡小皇帝赵㬎及谢太后等皇族成员圈禁起来。在霹雳军攻打临安城之战中，或许是因为没有存在感，或许其财物都被伯颜掠走，他们居然没有受到战火波及。随着伯颜身死临安光复，又有前朝遗老又偷偷摸摸聚集起来，试图重新拥立帝赵㬎为帝，却被谢太后严辞阻止了。霹雳军进城后，不仅派兵保护皇族不受滋扰，还送粮水食物。谢太后明白霹雳军是文明之师不假，但赵氏皇帝室真做了出格之事，也会遭来杀生之祸。
除了赵㬎外，赵氏还有一个傀儡小皇帝——福州小政权的赵昰，此时的他栖居在雷州半岛的行宫之内。所谓的行宫，只不过是十数间匆匆搭成的木房子而已，而这也是此地最好的房舍。小政权的“权臣”张世杰的居住只是三间木板房，而跟随而来的陈宜中、陆秀夫等人，只有一间木板房。至于数万跟随而来的官员、士兵和百姓，大多居住在狭窄的草棚之中，有的甚至并无居所。被张世杰接到海上之后，赵昰及福州小政权官员便一直在海上漂泊，在追兵威胁和惊滔骇浪下日日提心掉胆，还因晕船吐得昏头胀脑，好不容易才在两个月前安顿下来。雷州半岛虽然暑热又乏粮缺水，但总胜过海上的日子。
在阿剌罕进攻福州前，张世杰便率船队往广州方向而去。小政权虽然现在是政令不出船队，广南东路诸州县也是听调不听宣，但总可以补充食水，也可以上岸休整。张世杰自忖手下的五千淮西军也颇为精锐，可以寻机夺取广州以安身，然后再以广州为据点，号令周边州县，招兵买马，以图东山再起。那知道他们还没有到广州海域，便听闻李恒已率军进入清远，其骑兵也在番禺和增城出没。张世杰在淮西时曾被李恒打得大败，知道其军勇悍绝非自己能敌，遂在附近一个叫崖山的地方驻留下来，静观事态发展。如果李恒势大，则率军离去；如果李恒退去，自己则进驻广州。
临安政权灭亡前为防蒙元南侵，将军力都派往两淮和长江沿线，加之广南东路气侯炎热开发度低，故并没有多少军力，广州城也是如此，根本无法抵挡李恒伪军的进攻。得知张世杰率军前来，广州官员便派人送来食水并乞求其来援广州。张世杰知道自己不敌李恒，不敢率军援助，只是以小皇帝的名义下了一封诏书，嘉勉官员百姓坚守气节，与城共存亡。广州官员接到诏书后脸色发青，小吏百姓们闻之，也个个气得破口大骂。走投无路之时，城中的霹雳军商队找上门来，申请组织义军御敌，还声称一支霹雳军侦察队已
…。。