劉賀被冊立為昌邑王十三年後，趕上昭帝去世。在霍光的主持下，朝臣迎立劉賀，繼承大漢王朝的帝位。但僅僅即位二十七天之後，就以“行淫亂”的罪名，廢除其帝位，賜歸故國。
霍光為何挑中劉賀
劉賀被霍光統領羣臣擁立，登上帝位，本來是出於霍光操縱朝政的需要。漢武帝去世之後，霍光通過種種陰謀手段，逐個清除了本來一同顧命朝政的桑弘羊、上官桀等人，達到了獨攬權柄的目的。但傀儡皇帝漢昭帝年僅二十二歲就離世而去，卻給他出了一個很大的難題。
昭帝沒有子嗣繼承皇位，新皇帝就應該從他的兄弟當中甄選。當時“武帝六男獨有廣陵王胥在，羣臣議所立，鹹持廣陵王”，但廣陵王劉胥早已長大成人，霍光對他頗為忌憚，於是，他改而選擇了昌邑王劉賀。根據相關情況推測，霍光改用昌邑王劉賀，大概是基於如下幾點考慮：第一，劉賀是武帝的孫子，輩份比劉胥低，更便於利用外孫女上官太后的名義來加以彈壓。第二，劉賀當年還不到二十歲，政治經驗很淺，比較容易控制。第三，從《漢書》記述的一系列行為舉止來看，劉賀的神智肯定不夠十分健全，至少不是很有韜略，霍光當然會覺得像這樣的人會更好掌控一些。
霍光廢劉賀的隱情
然而問題也就出在劉賀的神智不夠十分健全上。劉賀從進京的路上開始，直到進入未央宮領受皇帝璽綬之後，做出了一系列奇奇怪怪的舉動，但都只是生活瑣事，完全符合他“清狂童騃”的神智狀態和“動作無節”的行為特徵。
按理説，這些都是霍光意料之中的事情，也應該是他暗中得意的事情。可是，在劉賀登上皇帝御座僅僅二十七天之後，霍光卻舉述他一系列失於檢點的生活瑣事，冠以“行昏亂、危社稷”的罪狀，動用上官皇太后的名義，將其廢歸故國。假如昌邑王的行為，確實已經危及社稷，理應舉朝上下。
盡人皆知，霍光宣佈這一決定時，人們自宜平靜接受。然而，當時的實際情況，卻是“羣臣皆驚愕失色”，顯示出並沒有相應的徵兆，其間必有隱情。清人方濬頤曾就此質疑説：“昌邑受璽才二十七日，而連名奏書所陳罪狀累累，信乎否乎？”
至宣帝元康三年四月，宣帝下詔，降封為海昏侯，移居豫章郡。四年後的神爵三年，又“坐故行淫闢，不得置後”。逮元帝即位之後，始在初元三年，復封賀子代宗為海昏侯，傳子至孫，直至東漢時期。
