幸好天无绝人之路，张须陀念着旧情义释杨素，方才逃回虎牢关聚拢败兵。只是从许昌逃出来的西汉残兵大多数都已经看清了局势，明白西汉朝廷已经是穷途末路，苟延残喘，要么脱掉甲胄返回故乡，要么就落草为寇，任凭杨素使出浑身解数，也不过才聚拢了四万多兵马。
岳飞主力大军屯兵陈留，派遣高宠、岳云、高长恭、冯胜四员大将提兵八万进军官渡，对虎牢关虎视眈眈。只要虎牢关一破，岳飞就可以兵临洛阳城外，杨坚只好命儿子杨广在洛阳境内强征了两万精壮入伍，派遣到虎牢关帮助杨素守城。
这些新兵大部分都是被强征入伍，刚来到虎牢关的时候迫于杨素的铁血手段都服服帖帖不敢造肆，但凡有个风吹草动就开始不安分起来。直到昨天晌午风传李靖大军准备攻打洛阳，整个虎牢关的军心便开始骚动了起来。
杨素一开始还派了几个心腹偏将去弹压，但到了晚上，开始出现校尉带队逃跑的事情，甚至还把阻拦的偏将给斩杀了，一夜之间溃逃了三千余人，已经出现兵败如山倒的态势。
这不大清早杨素前脚刚刚出门到山上远眺军情，虎牢关内就开始出现大规模的骚乱，甚至有一名偏将冲开大门，率领了一千五百余人出了虎牢关西门，奔河内方向投奔李靖去了。