一边派人联系太史慈寻求五千人马的支援，一边又在第十天晚上的时候佯装撤退，实则设下埋伏，准备阴曹休一手。
如果能阴曹休一手，那就万事大吉。
如果不能，曹休坚守城池不出战，他就等着太史慈的援军抵达之后再强攻南皮城。
曹休奋战十日，眼见振武军撤退，大喜过望，遂把曹操的嘱咐抛诸脑后，下令出城追击振武军，试图把这支振武军彻底击溃。
当时，原本担任司隶校尉的钟繇正在担任渤海太守，负责协助曹休守卫城池。
他觉得振武军素来强横，攻城以来一直压着城内守军打，各式攻城器械齐上阵，还有可怕的投石机与燃烧罐，军队强攻没几次，怎么看损失也不大。
这种情况下只攻击十天就撤退，似乎说不通，好像有问题，所以不能轻易追击，还是抓紧时间整修城池比较好。
于是钟繇试图劝阻曹休。
「贼军势大，又在攻势，损失也不多，仅仅十天便撤军，肯定有问题，说不定会设下埋伏以应对我军的追击，曹司空也下令，大军只能守城，不能出战，将军还是不要出城追击。」
曹休年轻气盛，又是曹氏宗亲，念及曹氏家族在刘基手中几乎完全覆灭，族人接连惨死，心中复仇情绪旺盛，只想狠狠杀戮振武军为惨死的族人报仇。
所以他不听钟繇的劝告，一定要出城追击。
「贼军如果实力犹存，怎么会趁夜撤退呢？一定是折损太大、后继乏力，所以不得不撤军，此时不追，更待何时？！」
钟繇阻拦不了曹休，只能强行留下一千兵马继续守城，而曹休则点起剩下能战斗的三千八百多人出城追击夏阳。
夏阳本来对于能否吸引曹军出城追击一事没有太大把握，结果曹休还真的追来了。
夏阳大喜之下立刻执行之前的战术，把曹休和他的军队围在了伏击圈里，一阵弓弩劲射之后，伏兵杀出，前后夹击，大破曹休。
近四千曹军折损殆尽，全军覆没，曹休本人在虎豹骑兵的保护下试图突围，被振武军弓弩手一阵齐射射成了筛子，当场阵亡。
夏阳歼灭了这支曹军，又审讯侥幸活下来的曹军俘虏，得知了南皮城内的虚实，大喜之下立刻挥军回头猛攻南皮县城。
为了动摇城内军心，他把曹休的尸体用旗杆吊起来展示，又把曹休的大旗举了起来在城外挥舞，并放任士兵大肆嘲讽、恐吓城内守军，以此给城内守军巨大的精神打击。