當初，李廣的堂弟李蔡和李廣一起侍奉漢文帝，到景帝的時候，李蔡的功勞累積起來，已經做到二千石的高官。
武帝的時候，做到了代相國。在元朔五年(公元前一二四年)被任命為輕車將軍，跟隨大將軍
衞青攻打匈奴右賢王有功，合於軍中的律令，被封為樂安侯。元狩二年中(公元前一二一年)
替代公孫弘為丞相。
李蔡人品在九品中是屬於下品裏面的中等人物。名望、聲望都比李廣低得多。可是李廣卻沒有得到爵位和封邑，官只做到衞尉、郎中，沒超過九卿。但李蔡卻被封為列侯，官位做到三公。
李廣手下的那些軍官和士兵們，甚至有的也得到了侯爵的封賞。李廣曾經和觀察雲氣、預佔吉凶的陰陽家王朔閒談説：
“自從漢朝攻打匈奴以來，我李廣沒有一次不參加戰爭。我所率領的各部軍隊裏，校尉以下的軍官，他們的才能還比不上中等的人，但是由於攻打匈奴的功勞，而受到封侯的有幾十人。
我李廣的才能並不比別人差，可是卻沒有得到一點兒可以獲得侯爵封邑的功勞。這是為什麼呢？
難道是我的相里不應該封侯！還是本來命裏註定這樣呢？”
王朔説：
“將軍自己仔細回想一下，是否曾經做過自己認為遺憾的事？”
李廣説：
“我曾經做過隴西太守，有一次羌族反叛，我用計引誘他們投降。但那投降的八百多個羌人，卻又被我設詭計把他們在同一天都殺了。直到現在，使我感到最大遺憾的事，就只有這一件。”
王朔説：
“會降災禍的事，沒有比殺死已經投降的人更嚴重的，這就是將軍所以不能封侯的原因呀！”
