陳光輝在攻下宜蘭縣城以後，他便乘坐軍艦直接往花蓮去了。花蓮是一個濱海城市，他的軍艦往花蓮港口一停，擺出攻擊態勢，花蓮縣令便立馬投降了。他的東路軍算是比較的順利。
整個臺東州並沒有幾個城市，也就一個臺東州州府，比較大點。他放了兩個營的部隊，在臺東洲地界上，去佔領鄉村，進行土改和建立政權的工作。他直接從花蓮坐軍艦，去了臺東州州府。
臺東州的知州也是一個滿人，他率領檯東州的守軍，同陳光輝的部隊激戰了一天一夜。最後惹怒了陳光輝，被他用軍艦上的艦炮，直接把臺東州沿海一塊兒，全都轟平了。他才率領軍隊進入了府城。
等他進入了府城，才知道那滿人知州，在他炮轟城牆的時候，就煙消雲散了。剩下的清軍都被他的大炮給轟怕了，所以再沒了抵抗之心，都跪地投降了。
陳光輝接受了他們的投降，收攏了1000多的清軍士兵。他挑選了一下有600多個清軍俘虜，符合義軍條件。他讓他們加入了他的部隊。
他在臺東州府城停留了兩天，休整了一下隊伍。然後建立了中華臺東州政府。然後派人留下來組織民眾進行土改運動。他自己則帶兵繼續乘軍艦南下，剩下的他都不管了。
這天，他到達了恆春縣城，會合了留在那裡的逯秀林的艦隊。他沒有再次登陸，而是直接帶領艦隊往臺南府去了。
當陳光輝到達臺南府府城的時候，張玉慶正在全力攻城。臺南府設在安平城，由臺灣總兵哈當阿率領6000清軍駐守。而城裡面又有許強和方耀漢等人的鄉勇3000多人。
許強前邊抓了南路義軍首領鄭賀，升了一個遊擊將軍，現在非常忠心地給清廷賣命。他蒐羅屠殺天地會會眾，那真是不遺餘力。陳光輝對他恨之入骨。
陳光輝沒有管其他的任何事情，直接從臺東州來到了臺南府。目的就是為了親手殺掉許強和方耀漢。
他痛恨的還有殺害陳周全的楊仲舍，但他離得還很遠，那傢伙應該在臺中。他估計唐家龍也不會放過那個傢伙。陳光輝便在安平登陸。他拆了兩臺艦炮，用馬車拖了，直接奔臺南府而去。
此時的臺南府正打得熱火朝天。張玉慶也是一個犟脾氣，他打出火來了，也不去管義軍的傷亡，拼命的進攻就是。陳光輝到達的時候，他正在親自攻城呢。他已經攻上城牆去了。有好幾個清軍將領，加上許強、方耀漢一起圍鬥他。
陳廣輝也沒有去管張玉慶如何。他把大炮安裝好，炮口對準了臺南府的城門。他直接兩炮齊發。一下子，臺南府的城門便鴻飛渺渺，不知道哪裡去了。正在攻城的義軍見狀紛紛，舉起武器衝向了城門。
而大炮的響聲，把城牆的清軍給打愣了。張玉慶趁機一刀砍掉了方耀漢的一隻胳膊。回身又砍下了另一個清軍將領的腦袋。這一下，其他人紛紛逃竄。