據民間傳説和有關資料，司馬遷的妻子柳倩娘是成紀人(今甘肅秦安縣北)，而且是西漢名將李廣的外孫女，父親柳振庭是一位詩書畫都極好的讀書人。
柳倩娘貌若天仙頗有才學
據民間傳説，柳倩娘在父親的影響下，五歲時隨父親學畫，愛在牆上畫小動物，十歲時就畫山水人物、花卉鳥木，在鄉里被誇為小畫家。十五歲通讀《六經》，翻讀《莊子》、《離騷》等名著。
十五歲時隨母親赴長安看望外祖父李廣，看到司馬遷文章便想拜師學藝，並在表兄李陵的幫助下偷偷目睹司馬遷真容，便暗許芳心。誰料，貌若天仙、體如輕燕的柳倩娘卻被李廣利看上，意納為自己的小妾。柳倩娘寧死不從，後為躲避李廣利逼婚，暫躲在太史府司馬遷處，從此與飽學多才的司馬遷相知相識，結下好姻緣，但是李廣利卻與李陵、司馬遷結下冤仇。
陪司馬遷跋山涉水寫《史記》
柳倩娘還自告奮勇，隨同司馬遷，走訪名山大川和歷史名勝，先後到江淮、廬山、九凝山、長沙等地，邊走訪邊收集史料，還為史料製圖而風餐露宿，幫助司馬遷為撰寫《史記》積累了詳實而有價值的史料。
司馬遷與柳倩娘結婚後，在司馬遷整理父親和壯遊長江南北，出使西南及扈駕遍遊全國所得的史料時，柳倩娘不僅操持家中一切事務，更幫其落實考證資料。在司馬遷被宮刑後，更是無怨無悔地鼓勵司馬遷要完成其父親的遺志。
在司馬遷再次入獄時，柳倩娘深明大義，帶着《史記》正本，藏匿於尼姑庵中，隱明埋姓且受盡苦難，直至《史記》有出頭之日時。
純粹、正派、高尚，是司馬遷的本質形象，這形象鑲刻在中華文明的史冊之中，鑲刻在人們的心裏。因而在為司馬遷建立祠堂，並在祠堂中樹立司馬遷塑像的時候，他理應黑鬚垂灑，怡然飄胸。早在公元310年建立的司馬祠，是沒有司馬遷塑像的。公元1125年，韓城縣令尹陽，應當地鄉賢和司馬族人的請求，主持修建了太史司馬遷祠。祠中需懸掛司馬遷畫像，尹縣令翻遍宋版典籍中所有司馬遷的畫像，都是處宮刑後無鬍鬚的“婦人像”。司馬族人不同意留這樣的畫像，並提出了找到真相的線索。
司馬遷入獄後，柳倩娘為保藏《太史公書》，忍痛別夫，改名換姓，返回司馬遷的故鄉韓城，遁入空門。司馬遷遇難後，她與兒子司馬臨、司馬觀，通過女婿楊敞、外孫楊惲，將司馬遷的骨骸運回安葬，並植柏為記，朝夕相守。柳倩娘從司馬遷20歲開始至55歲，每年給司馬遷畫一張年譜像，共畫了35幅。司馬遷48歲之前的畫像，都是黑鬚垂灑，怡然飄胸的。但這些畫像在司馬家族慘遭劫難中散失了。
尹縣令認為，司馬遷的故鄉説不定就有人收藏。於是派人四處打探，終於在芝川鄉間，覓得司馬遷壯年的留須畫像一幅。畫像線條細膩流暢，容貌逼真傳神。尹縣令拿來叫司馬族人辨認，一見畫像，司馬族人紛紛拜倒在地，失聲痛哭。根據這一畫像，尹縣令舉薦曾為孔子塑像的大師為司馬遷塑像。
