杨安儿在山东时，素来以巨大的号召力著称。而这种号召力，建立在女真人在山东一次次残酷括地，将山东百姓逼到死亡线上的困苦生活。数十万山东的汉儿本来就已经身处绝境，去年、前年再遭水旱蝗灾，官府征派还有加无已，胥吏更是肆意妄为。
这种时候，数十万人便如柴薪，而蒙古军横扫东平、济南等地，又将有能力灭火的金军一扫而空。杨安儿一声号令，便如火星落入柴堆，立刻就燃起熊熊大火，不可扼制。
但这种在山东地界上的巨大号召力，到了河南路淮上泗、颍、蔡、寿诸州，就不存在了。
由于数十年金宋交战的战场多在河南，各地屡经兵革，人稀地广，尤以河南路淮上一带，颇为荒凉，朝廷视之为“狭乡”。又因朝廷采取实北虚南的策略，在河南各地所征发的两税输粟等，原低于河北、山东。
这样一来，百姓反倒勉强活得下去，与女真人的仇恨，并不似山东百姓那般剧烈。而遂王完颜守绪到开封以后，又颇能选贤任能，编练精卒，相对于红袄军，反而取得了主场作战的优势。
杨安儿率领本部精锐突入淮上以后，因为缺乏本地百姓的支持，一度成了聋子、瞎子，不仅没能痛击完颜合达所部的软肋，反而自家进退失措。，
杨安儿虽然建国称王，但实际上只是红袄军各路首领的盟主。他要维持自家盟主的身份，就决不能轻易在战场上失败。一次失败，对他声望的动摇，便拿五次、十次胜利也难弥补。
所以杨安儿已经看到了局势不利，却还韧劲十足地转战淮上，试图找到机会扭转乾坤。
可在数日前，杨安儿带着本部轻骑抵达临涣龙山寺，忽然遭到金军优势兵力的伏击，将士们死伤惨重，杨安儿生死不知。金军乘势猛攻，兵分数路，奋勇向前。
杨安儿以威望聚拢全军，他不能出面，红袄军各部便群龙无首。哪怕是杨安儿最精锐的本部，也就是由铁瓦敢战军转化而来的数千将士，也无战心，更别说其他军卒了。
数日之内，各部由且战且退，演变成局部溃退，从局部溃退，又演变成全线崩溃，终于上下级指挥失控。
这时候又有诸多谣言在军中流传，都说各家大首领马上就要火并。可悲的事，这种谣言传播开去，竟有人当真的。真就有好几支队伍一边溃退，一边还互相吞并，展开厮杀。
到了退兵的第四第五天，已经上万人乱成一团，队不成队、列不成列，无论是勇猛军将，还是刚参军的农夫，全都撒开脚丫子
…。。