隋炀帝当然不可能对此忍气吞声，为了剿灭杜伏威，隋炀帝先后派出了公孙上哲、陈棱与来整等隋军名将进剿，然而却是连战连败，先是公孙上哲被杀，然后陈棱全军覆没，仅以身免，接着来护儿最得力的儿子来整被打得没脾气，根本就不敢和杜伏威正面对抗。隋炀帝束手无策之余，也只好继续他的鸵鸟战术，来一个眼不见心不烦，任由杜伏威在江都周边胡闹，只要他不来骚扰江都就行。