其實李靖雖做統軍的元帥，立下極大戰功，但一生小心謹慎，不敢居功，皇帝唐太宗對他很放心，曾命他做到相等於署理國務院總理的大官（檢校中書令、尚書右僕射），品級與魏徵相同。李靖後來因病辭官，太宗堅決挽留，命他疾病稍愈後每三天一次到國務院主持政事（“若疾少間，三日一至門下中書平章政事”）。其後又統率大軍平定吐谷渾，封衛國公。所以他其實也是出將入相，文官武將都升到最高位。
《虯髯客傳》文章雖妙，但許多地方不符史書所載。據《唐書·李靖傳》，李靖察知李淵要造反，要去江都向隋煬帝告發，李淵奪到長安後要斬他，得李世民解救才脫難，因此李靖不會事先識得李世民，照本文所述，他也不會去告發李淵父子。又，李淵於大業十二年十二月留守太原，楊素已於大業二年七月去世，相距已十一年，楊素亦未於煬帝末年留守長安。又據《新舊唐書》，當時並無扶餘國，惟說高麗百濟是扶余別種。高麗國有扶余城，如說扶余即朝鮮，那是在中國的東北方，並非如文中所說的東南。又，據筆記小說《酉陽雜俎》等書，說唐太宗虯髯，鬍子上翹，可掛一張弓，杜甫《贈汝陽郡王璡詩》雲：“虯鬚似太宗。”杜甫《送重表侄王砅評事使南海詩》：“次問最少年，虯髯十八九。子等成大名，皆因此人手。下雲風雲合，龍虎一吟吼。願展丈夫雄，得辭兒女丑。秦王時在座，真氣驚戶牖。”唐人傳說中，真正的虯髯客倒是唐太宗，杜光庭根據這傳說，加以變化，寫入小說，在歷史小說那是可以容許的。
據《唐書》，李靖是隋朝大將韓擒虎的外甥，是高幹子弟，早就識得楊素。楊素常拍拍自己的座位，對李靖說：“我這個位子，將來終究是你坐的。”李靖少年時便通兵法，韓擒虎和他談論軍事，常說：“只有他，才可和他談論孫吳兵法。”《唐書》說他“姿貌魁秀”，身體既壯健，相貌又清秀，難怪紅拂女張大小姐一見動心，竟然私奔相就。後代年畫等民間繪畫中畫“風塵三俠”，李靖是小白臉，紅拂女是美少女，虯髯客當然是虯髯大漢。