這時任憑吳天半如何英勇也無濟於事。前方的苗軍終於崩潰，往回就逃。吳天半，也只得隨眾後撤。劉君輔則率軍就追，一追一逃。很快過了五十里地，吳天半的義軍退到了一處寨子裡，這裡有1000義軍駐守。守軍的將領是吳天半的外甥付太。
付太立即組織弓箭手放過義軍，拼命地射向了清軍，堪堪擋住了清軍的腳步，兩軍便對峙起來。因為寨子裡準備得還算充分。寨牆又高，而且依山傍水。劉君輔一時也沒有辦法攻下寨子，畢竟義軍人數比清軍要多很多。又有高牆，他便停下來製作攻城器械，做攻城的準備。
吳天半他們駐守的寨子並不大。而且工事也不怎麼堅固。他想放棄這個寨子。準備退到錦水邊上去。在麻陽縣城進行防守。這邊畢竟離開他蘇麻寨太遠。各種物資都供應不上。清軍如果強攻，他們也守不了幾天。
他便跟傅太說明了情況，讓傅太阻擊一陣子以後，暗中撤退。並不一定要撤退回蘇麻寨，可以直接進入周邊的山裡去。付太答應了，吳天半便悄悄地率軍離開了寨子。
同時他傳下命令，讓周邊義軍向錦水邊的麻陽高村集街。過了兩天。劉君輔終於製作好了攻城器械。清軍便開始攻城。他們並燃放了大炮，把寨牆轟塌了一部分。傅太看到城牆倒了，他知道守不住了，便帶著人馬撤離了。至此清軍終於蜂擁而入，而裡邊的寨民早就跑空了，清軍什麼也沒得到。攻入了寨子，劉君輔才發覺，吳天半早就跑了。
他非常地氣憤，一把火把寨子燒了，然後揮軍繼續北上。沿著義軍的足跡一直追到了麻陽。麻陽是一個縣城。一早就被義軍攻佔了。
吳天半在這裡集結了大量的兵力，準備同劉君輔決一死戰。劉君輔幾次攻城都失敗了。兩人在這裡對峙了有五六天。劉君輔看看，此路不通。便沿著錦水往下游了。這邊吳天半則派出小股隊伍沿河監視清軍動向。
劉君輔率軍順著錦水來到了一處轉彎的地方，這裡有個村寨叫高村，在河的對面。這裡也有幾千義軍駐守。劉君輔就沒有再作停留，而是直接順河而下進入了辰州的辰溪縣。從辰溪渡過了錦水，率軍直逼浦市。
而浦市此前已被吳廷舉佔領。而吳廷舉也早就得到了劉君輔前來的消息，他預先在城外兩邊的山裡埋伏下了人馬。等到劉君輔到達浦市，舉兵攻城的時候。從兩側的山林裡突然殺出了大量的義軍，徑直殺向劉君輔的攻城隊伍。清軍被打了個措手不及，紛紛從攻城雲梯上退下來迎戰，而吳廷舉則率領大軍從城裡殺出來，夾擊清軍，殺得劉君輔大敗而逃。
劉君輔沒有辦法。只好繼續向沅陵城方向去了，他要去會合福寧，然後再想辦法。