趙德芳鬱郁之下，也無心留在蘇州，轉而帶著自家夫人回了汴京。誰知回府沒幾天就遇上狸貓換太子一案，趙德芳苦笑一聲，卻也接了陳琳送來的嬰兒，養在南清宮中。次年狄娘娘二次有孕在身，產下一子，趙德芳依字輩，起名趙惟憲。再後來送子進宮，仁宗即位，後宮鬧鬼，包拯下陳州，迎回李妃。
這之後趙惟憲心生不滿，起兵造反，被包拯平定，在仁宗和滿朝大臣威逼之下，趙德芳無奈，揮淚借金鐧傳旨，命包拯秉公斷案，斬了自己親生兒子。這時節趙德芳也已經八十高齡，每日在宮中哭自己一脈子嗣稀薄，皇室無情。正在悲哀之時，有能人異士暗入南清宮，言說王爺有後，流落在蘇州地區。
這才有趙德芳二下蘇州，十字街頭十兩紋銀自賣自身，被王華買回家中。再後來，父子相認，趙德芳將王華接入南清宮中，依照族譜字輩，起名趙惟敘。而趙惟敘在民間時本就育有二子，因此依字輩起名趙從梁、趙從柱，後來又尋回趙惟憲留在民間的血脈，八賢王給這孩子取名趙從鬱。
再後來，趙德芳去世，仁宗不知是有意裝傻，還是故意為之，並未提八賢王這王位繼承一事，只是任由趙惟敘一家住在南清宮中。緊接著好景不長，趙從梁、趙從柱相繼病死。趙惟敘也反應過來這京中的兇險，當即送走了自己侄子趙從鬱，又進宮請了一道聖旨，言說自己寒苦出生，在民間長大，如今在京中諸多不習慣，特此請命，遠離京中，回鄉下過活。
仁宗自然是樂得同意，趙惟敘有心回蘇州，可仁宗唯恐天高皇帝遠，他在南方折騰出什麼變故來，因此只准他在四京之地內擇地定居。趙惟敘無奈，只得選了大名府，為了讓仁宗安心，還做起了買賣，當了商人。也正是因為從商，趙惟敘才安穩的活過了英宗一朝，並且老來得子，在神宗年間得了一子，取名趙安。