元封五年(前106年)，大將軍衞青病逝，諡號為烈侯。在上古文獻中“烈”是光明、顯赫，有宏偉、浩大之意。以此表彰了衞青軍功卓越、不平凡的人生之旅。
衞青對衞氏家族，乃至太子(衞青的外甥)的命運都有着重大影響。衞青走過了一條上升、圓滿的人生軌跡，然而，他的後代卻沒有能繼承他的功業，也沒有能繼續他的輝煌人生經歷。
據《史記·衞將軍驃騎列傳》記述，衞青有三個兒子：衞伉，衞不疑和衞登。衞青在漠南打敗右賢王之後，漢武帝為表示對衞青的特殊嘉獎，冊封了這三個尚為孩童或在襁褓之中的幼子。衞伉被封為宜春侯，衞不疑被封為陰安侯，衞登被封為發乾侯。最早，衞伉犯法而丟掉了宜春侯爵位，因衞青娶了武帝的姐姐平陽公主，衞青去世，衞伉才能繼承衞青的封國，繼續做了長平侯。6年之後，衞伉犯法而失去了這個爵位。衞不疑和衞登都因交供宗廟祭祀用的金子不合格，丟了爵位。衞青的後代雖然生來富貴，但由於沒有建立功業，從而沒有能力保持高貴的社會地位。
《資治通鑑》卷二二記述了漢武帝與衞青、太子之間的故事。當初，漢武帝在29歲時才生了太子，這是武帝第一個兒子，自然非常喜愛。隨着太子一天天長大，武帝觀察到太子個性仁慈寬厚、謙和，似乎沒有自己那樣精明強幹，因此感覺有些遺憾和失望。後來，武帝的其他幾位夫人陸續為他生劉閎、劉旦、劉胥和劉髆幾個皇子。
皇后和太子覺察武帝對他們母子的逐漸疏遠，開始常常陷入惶恐不安之中。武帝知道後，讓衞青向皇后、太子轉達：我朝很多大事都還處於草創之中，周邊外族對我們侵略不斷，朕不得不對內厲行改革，對外大力征伐;否則後代子孫治理政務沒有法度可以遵循，國家也沒有真正的太平局面。因此，朕在位期間百姓十分勞苦，但是，後代子孫繼續像朕這樣做，就等於重蹈了亡秦的覆轍。太子性格沉穩仁厚，這正是守成之君所必須具備的品格，保持國家的穩定與安寧沒有人能勝過太子了！聽説皇后和太子有不安之意，請你把朕的意思轉告給他們。
武帝特意請衞青做中間人，顯然是有深意的。與其説，他這些話是在安慰皇后、太子，不如説，他主要是為安慰自己這位戰無不勝的大將軍。這位在戰場上敵人不可戰勝的大將軍，是西漢以強盛帝國的姿態屹立於世界東方的重要因素。
以武帝的雄才大略面對仁弱的太子自然是不滿意的，他在安慰太子的同時，似乎也在安慰、説服自己，也許有衞青的輔佐與支持，太子可以擔負得起自己身後的這大片錦繡河山的安寧與穩定。
然而，天不假年，威名赫赫的大將軍在五十歲左右就逝世了。在衞青去世之後，朝中的奸佞大臣看到太子失去了這個堅強的後盾，開始肆無忌憚地陷害太子了。太子被迫起兵自衞，後來兵敗自殺。
衞青在世的時候，連漢武帝都主動維護太子以安定大將軍之心，其他人更不敢構陷衞家和太子。衞青封侯之後，衞氏家族開始興起，衞家有5人封侯。然而僅僅維持了24年，5個侯爵被剝奪，衞氏家族再也沒有封侯的了。到了徵和年間，太子兵敗自殺，衞氏家族也基本覆滅了。
