兩日之後，楚十孃親自送秦觀等人離潭，臨行立誓：從此閉門謝客，並以秦學士知己自律！
秦觀默然難語，灑淚而去。
潭州一事，雖為楚十娘之真情流露，但對秦觀的情緒打擊尤重。
他這一生，自己的報國夙願難償，卻又對周遭之人多有負憾：前負弟子之傾情跟隨，此後又感到負母、負妻、負朝華、至此再又覺深負楚十娘，饒是這兩年來養氣修性之積累，卻也禁不住地自怨自艾而愁緒滿腹。
行過衡州，便是郴州之前最後一地，知衡州的孔毅甫卻是秦觀的舊識朋友，留宴州衙，席間請其賦詞，秦觀便留下了一首《阮郎歸之瀟湘門外》
瀟湘門外水平鋪，月寒徵棹孤。紅妝飲罷少踟躕，有人偷向隅。
揮玉著，灑真珠，梨花春雨徐。人人盡道斷腸初，那堪腸已無。
席間之人聞罷皆無言，還是那名公差私下說：吾錯矣，潭州不該慫其相會那藝妓，雖得真情卻不可留，人間之情傷莫過於此，吾傷秦官人深矣。
兩日之後，兩公差終於將秦觀押送到了郴州，帶其到郴州的衙門見了知州楊晨，交接了手頭的公文，便算完成了自己的差事，於是便向秦觀告辭而去。
這楊晨此時尚未得到章楶的手信囑託，也就公事公辦，將秦觀安置於郴州的城南旅舍。
郴州，是荊湖南路最南的一個州，自古便有“船到郴州止，馬到郴州死，人到郴州打擺子”的說法，可見其地之蠻荒兇惡。
就算是“雁不過衡陽”之地的衡州，那也比郴州還能稍北邊，條件還能稍好些。
兩名公差雖為押解他而來，但一路之上，倒也相處融洽，算得上半個友人，但在他們離開之後，再加上秦觀此時的身份，在這郴州城之內外，再無他人敢與其接近。
於是旅舍內外，秦觀便真的成為了孤家寡人一個。
山風遠遠送來了不知從哪裡傳出的哀怨女子歌聲，似哭訴、似嘆詠，斷斷續續，卻又不會消減於耳邊。而在房間內，破舊的牆壁間，竟然還有幾隻飢腸轆轆的老鼠探出頭來，看著這位新來的異客。
情感細膩的秦觀便在這個荒僻、寂寞的地方，靜下了心情，除了之前託那兩位公差幫他帶回了平安到達的消息之外，他也刻意隱瞞下了這裡的惡劣條件。
其實，這次來到這裡的秦觀還算好多了。至少，他還有著充足的積蓄，足以讓他在這裡為自己安排著日常的開銷，並不至於擔心溫飽的問題。