就在昌邑王即位的第二十七天，霍光把文武百官召集到未央宮，跟他們一塊商議廢除昌邑王的事?；艄忾_門見山地問道：“昌邑王昏庸無道，恐怕要危害社稷，大家說應(yīng)該怎么辦呢？”群臣見霍光不稱劉賀為皇帝而稱昌邑王，一個(gè)個(gè)都嚇得半晌說不出話來。田延年看這種情況，不由得站起身來，手按著劍柄說：“先帝把天下托付給大將軍，是因?yàn)榇髮④娭液褓t明，能夠安定劉家的天下。要是漢朝的宗廟從昌邑王的手里絕祀，大將軍死后還有臉到地下去見先帝嗎？今天大將軍作出的決定，容不得半點(diǎn)遲疑，誰要是不響應(yīng)，我馬上砍了他的腦袋！”霍光道：“所有責(zé)任應(yīng)當(dāng)由我來負(fù)。”群臣聽了，全趴在地上磕頭，齊聲說：“我們一定遵從大將軍的命令！”于是，霍光就讓尚書令把事先寫好的奏章拿出來，請大臣們在上面一一簽名。

隨之，霍光率群臣晉見太后，陳述劉賀種種無道行徑，于是皇太后乘車前往未央宮承明殿，下詔命皇宮各門不許放原昌邑國臣屬入內(nèi)。守門的太監(jiān)們接到太后的詔令，每人手握一扇宮門，劉賀一進(jìn)入溫室殿，太監(jiān)們立即將門關(guān)閉，把跟在后面的原昌邑國的臣屬擋在外面。劉賀面有懼色地馬上問道：“這是干什么？”霍光在旁跪道：“皇太后有詔，不許原昌邑國的群臣入宮。”劉賀說：“慢慢吩咐就是了，何必如此嚇人！”霍光命人將昌邑國的群臣全部驅(qū)趕到金馬門之外，被張世安率領(lǐng)的羽林軍全部逮捕，關(guān)進(jìn)監(jiān)獄。同時(shí)，霍光又命曾在漢昭帝時(shí)擔(dān)任過侍中的太監(jiān)專門守護(hù)劉賀，命令道：“一定要嚴(yán)加守護(hù)，謹(jǐn)防劉賀被害或自殺，讓我在天下人面前擔(dān)上殺主的惡名。”此時(shí)，劉賀還不知內(nèi)因，便問身邊的人說：“我以前的群臣和從屬們犯了什么罪？大將軍為什么要將他們?nèi)筷P(guān)押起來呢？”等到皇太后下詔召見劉賀時(shí)，劉賀才真正感到害怕地說：“我犯有什么錯(cuò)？太后為什么要召見我？”就這樣，劉賀在霍光與文武群臣的聯(lián)名參劾下，皇太后下詔將劉賀廢黜。劉賀仍不死心，說：“我聽說 天子只要有七位耿直敢言的大臣在身邊，即使荒淫無道，也不會失去天下。 ”霍光說：“你已被廢黜，豈能再稱天子。”隨即抓住劉賀的手，將他身上佩帶玉璽的綬帶解下送與皇太后，然后扶劉賀下殿，直送到長安所設(shè)置的昌邑王官邸。劉賀過了二十七天的皇帝癮，連一個(gè)年號也沒有定下來，就被糊里糊涂地廢掉了。劉賀從昌邑國帶來的臣屬共200余人，除王吉、龔遂等少數(shù)正直人士外，皆被處死。

事后，霍光親自把劉賀送到昌邑邸，并對他說：“大王自絕于天下，臣下也沒有辦法。臣下寧可對不起大王，也不能對不起國家。從今天起，臣下就不能再服侍大王了，請大王多多保重！”就這樣，劉賀僅僅做了27天的皇帝，又被趕回封地昌邑?？蓢@劉賀，曾經(jīng)是堂堂大漢皇帝，離開皇宮時(shí)只配享用牛車的待遇。到宣帝時(shí)，曾封為?；韬?，后又被貶為庶人。公元前59年，劉賀病故，年僅30多歲。

當(dāng)年七月，霍光另立漢武帝的曾孫劉病已（劉詢）為皇帝，這就漢宣帝。劉詢是漢武帝的曾孫，上官太后論輩份是漢宣帝的祖母，這樣，上官氏年僅十五歲，就尊為太皇太后，成為中國歷史上最年輕的太皇太后。

漢宣帝即位前曾長期在民間生活，頗知民生疾苦。所以他即位后勤儉治國，政治更加清明，社會經(jīng)濟(jì)更加繁榮，使?jié)h朝的強(qiáng)盛局面又保持了幾十年。宣帝統(tǒng)治期間，“吏稱其職，民安其業(yè)”，號稱“中興”，應(yīng)該說，宣帝統(tǒng)治時(shí)期是漢朝武力最強(qiáng)盛、經(jīng)濟(jì)最繁榮的時(shí)候，因此史書對宣帝大為贊賞，曰：“孝宣之治，信賞必罰，文治武功，可謂中興”。

歷史事件的發(fā)生，往往是綜合因素的共同作用。劉繼興認(rèn)為，劉賀之所以很快就被廢黜，除了他荒唐透頂這一眾所周知的原因之外，還有一個(gè)重要因素就是政治權(quán)力的角逐。劉賀被擁立為帝，本應(yīng)依賴和重用以霍光為首的擁立他為皇帝的朝廷大臣，維護(hù)他們在朝中的既得利益，然而，劉賀不僅沒有這樣做，反而將原來昌邑國的全套人馬都帶到了長安，權(quán)力與利益的斗爭，在對于一個(gè)在朝中還沒有扎下根來的劉賀來說，只有被廢黜的一條路了。下詔廢黜劉賀皇位的皇太后，年僅十五歲，朝廷的實(shí)際權(quán)力其實(shí)掌握在大將軍霍光的手里。通過廢立，權(quán)臣霍光的地位和權(quán)力更穩(wěn)固了，《資治通鑒·漢紀(jì)十六》中這樣記載：“及昌邑王廢，光權(quán)益重”。