蔡瑁可謂是倒黴到了極點！他原本是荊州大都督，位高權重，一人之下萬人之上，而且也曾陰謀在劉表逝世後，掌控荊州，甚至還有投靠曹操之意！
當時劉緯人在荊州，蔡瑁十分忌憚他，不惜親自帶兵去追，離開了襄陽老巢，卻不曾想，昔日唯他馬首是瞻，低眉順目的蒯越和鐵桿同夥張允，竟突然翻臉，立馬背叛了他！
更令蔡瑁悲涼不已的是，蒯越和張允，竟驅趕囚禁了蔡氏族人，侵奪了蔡氏所有家資和土地！當時的蔡瑁，恨不得馬上提兵，前往報仇，可他……哪有兵啊！
隨著劉緯逐漸在荊南立穩腳跟，蔡瑁也一直追隨著他到了荊南，因為矛盾轉化，這個令他昔日曾經十分忌憚的敵人和對手，現在竟成了自己唯一能指望之人！
可當蔡瑁提出借兵復仇的要求後，劉緯卻拒絕了！原因很簡單，當時曹操已經入主荊襄，即將形成對峙之勢，怎麼報仇？率兵北上，奪回襄陽？痴人說夢！
蔡瑁碰了一鼻子的灰，感覺自己這輩子算是完了，他不相信劉緯能戰勝曹操，覺得自己再無出頭之日！在漫長的等待中，他整日借酒澆愁，瘦了好幾圈，整個人都頹廢了！
後來，身在恭安的蔡瑁驚聞，劉緯居然奇蹟般地戰勝了曹操，他馬上來了精神，產生了一絲不切實際的幻想，那便是在未來荊州的格局中，起碼應該有他蔡瑁的一席之地！
可不料，很快劉緯將荊州拱手讓與劉備的消息便傳來了，蔡瑁有心阻止，卻無力改變，因為現在的他，一無所有！只憑月荷親舅舅的身份，在劉緯這裡混口飯吃，還有什麼聒噪的餘地？
蔡瑁本想離開劉緯，返回襄陽，投靠劉備，混碗飯吃，最起碼蔡氏一族在荊州的影響力，劉備他不能不重視吧？至少給個官職噹噹，也能繼續經營本族在荊州的產業。
可不曾想，他剛剛產生這個想法，便突然聞知，劉備這個無恥之徒，竟然沒收了全部荊州大族私產，從根本上，徹底把荊州幾個世家大族，剷平了！
蔡氏一族，遭受蒯越和張允之劫，原本就損失慘重，如今又被劉備來了這麼一手，荊州蔡瑁是肯定回不去了！他也只能追隨劉緯，來到了漢中，並在錦衣衛的幫助下，從荊州救回不少蔡氏族人。
劉緯在厚待黃承彥一家之時，也沒忘了蔡瑁，此人雖無甚功勞，可畢竟是月荷的舅舅，算是劉緯的長輩，於是劉緯賜給蔡瑁漢中城內一處宅院，外加城外一片莊園和少量田土，用以安置蔡氏逃亡族人。