潘美派遣杨业出师后，自己和王侁等人作为后援，早早赶到陈家谷口，列阵以待。从早上等到了下午，还是没有等到杨业的消息。于是潘美派人登上高台瞭望，却什么都没看到。潘美不免心生怀疑，王侁这个时候却煽风点火道：“杨业要是败退，必定有急报传来。如今这么长时间没有消息，肯定是大败敌军，主帅为什么不赶紧上前，乘机夺取头功呢？”潘美犹豫了一会儿才说道：“再等等看吧！”
王侁退出去后，对众将说：“这个时候不去争功，还等什么？你们不去，我可去了！”说完便率领部下，从谷口出发。众将都争功心切，跃跃欲动，潘美阻止不住，也只好随同。身为主帅，连手下都不能驾驭，真是饭桶！潘美沿着交河西进二十里左右，忽然看到王侁带兵退了回来。潘美问怎么回事，王侁急忙说：“杨业已经退败，契丹兵非常猖獗，我害怕不能抵挡，所以领兵撤回。”潘美听后，也不禁惊惶起来，索性也麾兵返回。潘美将陈家谷的约定抛诸脑后，忘得一干二净！他带着部下一直退到了代州，这明明是故意不履行约定，置杨业于死地！