霍光做到了传说中的上古贤臣伊尹做过的事，废掉了无道昏君。其间的传说很多，真假难辨。然而有一件事可以肯定，那就是霍光已然彻底掌握了国家的权柄。他无疑有功于汉室，没有他很难说汉王朝在几代昏君幼主的统治下还能支持多久。然而当他去世后，他一手建立起的霍氏家族也就此走到了尽头。
昭帝驾崩
汉昭帝在位13年，霍光不只拥有军政大权，甚至将权柄伸到了宫内。昭帝的身体一直不好，霍光希望自己的外孙女上官皇后获得宠幸，为汉昭帝生下独子。于是他命令宫女必须穿“穷绔”，以前的裤子都是分左右两片，中间不连裆，“穷绔”就是连裆裤。这样是为了让昭帝不容易亲近宫女。
昭帝元凤四年（前77），18岁的昭帝提前举行了冠礼，宣告成人，大将军霍光率领群臣祝贺。举行冠礼就表示已经成年，但是昭帝仍然拒不亲政，要求霍光继续代行国政。就在昭帝举行完冠礼时，丞相田千秋去世了，由御史大夫王訢继任丞相，一年后也去世了，这样御史大夫杨敞便成为新的丞相。
昭帝元平元年（前74），21岁的汉昭帝因病去世。此时的上官皇后只有15岁，昭帝没有留下子嗣。此时，摆在霍光和众位大臣面前最迫切的问题是由谁继承皇位。
汉武帝的6个儿子中，如今只有广陵王刘胥尚在。大臣们纷纷表示按辈分和长幼之序，广陵王刘胥应该继承皇位。然而霍光并不满意，广陵王刘胥年轻的时候，汉武帝便认为他不适合继承皇位。如今长大后，行为更为荒唐，这样的人不适合继承皇位。
这时有个郎官上书，反对广陵王刘胥道：“昔太王废太伯，立王秀；文王舍伯邑考，立武王，无非在所托得人，不必拘泥长幼。广陵王为人所不道，故孝武皇帝不使承统，如今怎能继承宗庙呢？”
霍光看到这名郎官的上书后大喜，将这封上书交给了丞相杨敞，并将上书的郎官升为九江太守。随后，以太后的名义，派遣大鸿胪寺少府史乐成、宗正刘德、光禄大夫丙吉、中郎上将利汉，迎接昌邑王刘贺来长安，继承皇位。
昌邑王刘贺是汉武帝之孙，武帝驾崩时没有皇后，但是曾和李夫人配飨。李夫人便是刘贺的祖母，霍光认为他可以作为正统继承皇位。况且昌邑王刘贺是昭帝侄子，以侄继承叔大业，正好可以作为继子。
然而，这位昌邑王刘贺却并非贤明之人，其荒唐之举比比皆是。他的脸色铁青，鹰钩鼻，小眼睛，虽然身材高大，但是腿上有毛病，走路不便。其居国10余年，狂纵无度，喜欢田猎。身边的臣子也多是阿谀奉承之徒，只会迎合刘贺，甚至带他进歧途。只有中尉王吉和郎中令龚遂时常批评规劝刘贺，但是用处也不大。
中尉王吉负责王国的军事和治安，他常常见到刘贺游玩，便对刘贺道：“大王不喜欢读书，只喜欢游玩田猎，甚至玩耍起来连自己的生命都不顾惜。这样不但会损害自身，更不合仁义之道。大王若勤奋读书，讲习治国之法，这样必然美名传天下，天子也会更加看重大王。如今您经常办错事情，被天子知道，就有危险了。”
刘贺听了王吉的话，满脸惭愧道：“卿所言极是，我定会改过自新。您忠心可嘉，赏赐牛肉500斤。”
然而只过了数日，刘贺便游玩如初，不再学习了。王吉虽然屡次劝谏，但效果甚微。
龚遂说话更直接一些，当面指责刘贺时，常常将其羞辱得面红耳赤。有一次龚遂数落刘贺的过错，刘贺听不下去了，就站起身来，捂着耳朵跑了，一边跑一边喊道：“郎中令真会羞辱人。”
后来，龚遂又劝谏刘贺少亲近阿谀奉承的小人，多亲近贤明之人。于是选了10个有德之人，作为刘贺的侍从。但是没多久，这些人都被刘贺赶跑了。
刘贺做梦也不会想到皇位会落到自己的头上。霍光派遣的使臣到达昌邑的时候，正是半夜时分，刘贺正在睡觉。事关重大，刘贺被人从睡梦中叫醒了。使者团的名义是要求刘贺到长安主持昭帝的葬礼，意思就是请刘贺进长安继承皇位。刘贺接到霍光的书信，简直不敢相信，确定属实后，高兴得手舞足蹈。
时间紧急，第二天刘贺便和使臣们动身去往长安。王吉见刘贺喜形于色，忙跪下进谏道：“大王去长安主持先帝葬礼，应该显出一副悲哀之状，切不可妄自行事。大将军霍光享誉满朝，一定要尊降他，政务都要请大将军处置，大王一定要留心。”
刘贺哪里还有心思听王吉的话，早就不耐烦了。到了中午便起程出发，路上马不停蹄，只希望早点到长安。只用了两三个时辰就到了定陶，赶了135里路，侍从的马匹接连累死在了路上。郎中令龚遂忙进谏刘贺，刘贺这才令郎官、谒者50多人返回昌邑。
这一路上并不消停，到了济阳，刘贺命人寻求鸣叫声很长的鸡，路上买合竹杖。到了弘农时，更加不像话，让身材高大的奴仆用装载衣物的车子装载抢来的女子。这件事很快就被别人知道了，到了湖县，使者就此事责备昌邑相安乐，安乐将这事告诉了龚遂。龚遂只好去问刘贺到底怎么回事，刘贺斩钉截铁道：“断无此事。”龚遂闻言道：“既然没有此事，为何舍不得一个奴婢，让他败坏名声呢？请将他交给法官处置，来洗刷大王。”说着就揪住了此人将之交给卫士长处置。
刘贺一行人到达灞上时，大鸿胪已经在郊外迎接了，主管车马的驺官奉上皇帝乘坐的车子。刘贺令他的仆从寿成驾车，郎中令龚遂同车参乘。走到了光明东都门，龚遂说：“按礼制，奔丧望见国都就要哭。这已是长安的东郭门。”刘贺说：“我咽喉痛，不能哭。”到了城门，龚遂又说此事，刘贺说：“城门和郭门一样的。”将到未央宫的东门，龚遂说：“昌邑国的吊丧帐篷在这个门外的大路北，不到吊丧帐篷的地方，有南北方向的人行道，离这里不到几步，大王应该下车，向着宫门面向西匍匐，哭至尽情哀伤为止。”刘贺这次同意了。
公元前74年，六月初一，刘贺按照礼仪完成了哭丧，并接受了皇帝印玺和绶带，成为大汉王朝新任皇帝，尊上官皇后为皇太后，并嗣汉昭帝，算是汉昭帝的嗣子。
可立便可废
刘贺继位是霍光一手安排的，但是刘贺登基称帝之后的表现则令霍光在内的众人大跌眼镜。刘贺不敢怠慢霍光，但也只是对他敬而远之。
尚在昭帝丧礼期间，刘贺便丝毫不顾礼节肆意**。按照规定，昭帝丧礼期间不准玩乐。但刘贺不管这些，依旧命人将宫中所有乐器搬了出来，让每人手持一件，排列在宫内大道两旁，肆意弹奏，声响震天，热闹非凡。皇宫玩够了就驾着车子到上林苑中嬉戏游乐。本来还规定，丧礼期间一律吃素，刘贺不满素菜素饭，便召来太宫，命他按平日里皇帝的饮食规格弄来。太宫害怕违背礼法，不敢应承。刘贺便命自己人到宫外大肆购买山珍海味，带回宫中，大肆宴饮。
非但如此，刘贺还将原来与之玩乐和奉承他的人从昌邑召来，封赏他们高官厚禄。并且让这些人拿着旄节下命令给各官署征调并索取物资，短短20多天内，竟有1200次。
文学光禄大夫夏侯胜、侍中傅嘉等多次进谏，规劝过失，刘贺竟派人按簿册责问夏侯胜，又把傅嘉捆起来关进监狱。大臣张敞看不过刘贺荒**无道，丧失帝王礼义，搅乱朝廷制度，多次上书规劝道：“昭帝过世，并无子嗣，群臣心忧，一心想选一位贤明之主继承大业。车驾东迎之日，陛下唯恐行程太慢，颇为失礼。如今陛下正值壮年，刚刚继位，天下人无不侧目以视，急切想知道陛下何以治国。如今定策之臣尚未褒奖，陛下随臣却得升迁，未免令人心寒……”
霍光对刘贺的所作所为更是非常不满，见到这封上书后，对左右道：“张敞所言有理，可迁为豫州刺史。”
大司农田延年曾在霍光幕府任职，深受霍光信任，于是召田延年前来商讨。霍光对田延年道：“新君没有为君之象，肆意践踏礼法，此事该如何是好？”
田延年道：“将军是国家的柱石，既然已知此人难以肩负重任，为什么不禀明太后，另选贤德为帝呢？”
霍光道：“如今正想这么办，不知古时有这样的事情吗？”
田延年道：“伊尹在商朝为相，废掉了商王太甲，国家才得以安定，后世都称赞其忠心。将军能做事，便是汉朝的伊尹了。”
霍光听从了田延年的话，心中有底，遂加封田延年为给事中，并派遣他去征求丞相杨敞的意见，自己则召来车骑将军张安世商量对策。
张安世是西汉著名酷吏张汤之子，武帝时为尚书令，汉昭帝时被封为右将军，因辅佐有功，被封为富平侯。他素来和霍光交好，对霍光言听计从，自然不会反对。杨敞虽为丞相，但是军政大权都在霍光手中，从来不违背霍光的意思。得知是霍光的授意后，便表示定当配合。
霍光获得了张安世、杨敞、田延年等人的配合，便召集丞相、御史、将军、中二千石、大夫、博士等大臣到未央宫中商议此事。众人只见霍光紧锁眉头，不知何事。只听霍光道：“昌邑王行为混乱，恐将危害国家，该如何是好？”
大臣们听完霍光的话面面相觑，都愣住了，不知该如何是好。霍光没有称天子为陛下，而是将之称之为“昌邑王”，看来是已经有了废帝之心。众人都听出了这层意思，所以才惊慌失措。
此时，田延年站起身来，走向前去，手按长剑道：“孝武皇帝将昭帝托付将军，亦将天下托付于将军，皆因将军是忠贤之人，能安刘氏天下。如今昌邑王行为不谨，如同煮沸之水般不安，这样下去，国家将危。况且汉室皇帝谥号都有个孝字，意味使子孙能永保天下，使祖宗能长享祭祀。如果汉室绝嗣，将军虽死，何颜见先帝？今日之论，不容犹豫，应从速解决。大臣中谁答应晚了，我就将其斩于剑下。”
霍光闻言，谢罪道：“九卿责备我是应该的，天下**不安，霍光应受责难。”
于是参与会议的人都叩头道：“天下人的命运都取决于将军，我等唯将军命是从。”
群臣统一意见后，霍光便和群臣谒见太后，尽述昌邑王无道之举。太后乘车来到了未央宫承明殿，下令不准昌邑王臣僚进宫。昌邑王朝见太后回去，想要乘车回到温室殿。昌邑王进去之后，守门的侍卫便把门关上了，刘贺的臣僚一个也没能进去。
刘贺见此问道：“为什么这样？”
霍光跪着回答道：“太后有令，不准昌邑群臣进宫。”
刘贺道：“慢着点，不要这样吓人。”
霍光命人将昌邑群臣赶出宫去，安置在金马门外。车骑将军张安世早做好准备，带领着御林军骑兵逮捕了200余人，都交给了廷尉，关进了诏狱。霍光又命令昭帝原来的侍中、中常侍等看守刘贺，告诫他们道：“小心看守，他若自杀，我就会有负天下人、杀主的罪名。”
这时刘贺还不知道自己将要被废，便对看守自己的人说道：“我从前的臣僚犯了什么罪，被大将军全部逮捕起来了呢？”不久，太后命人召来刘贺，刘贺这才惊恐起来。
上官皇太后身穿缀着明珠的隆重的华服，端坐在武帐中，数百名侍卫都手持兵刃，陈列在殿下。群臣按照顺序，依次上殿。上官皇太后命刘贺伏在殿上听诏。
霍光和群臣联名上奏，尚书令宣读奏章。这封联名奏章，历数刘贺在称帝期间所犯下的罪行，并请求废掉刘贺的天子之位。
奏章宣读完之后，上官皇太后道：“可。”
霍光令刘贺起身跪拜接诏，刘贺道：“我听说天子有诤臣7人，虽无道不失天下。”
霍光闻言，斥责道：“太后下诏，已经将你废掉，安敢自称天子！”说着便走到刘贺身前，伸手解下了他身上佩戴的皇帝玺绶，交给了太后。然后扶着刘贺下殿，走出金马门，群臣在后相送。
刘贺面向西方下拜道：“愚憨之人，不能担当汉室大任。”说完便起身坐上皇帝的副车离开了。
霍光送刘贺到了府邸，辞别道：“王所作所为，是自绝于天，臣等驽怯，不能杀身报得。臣宁愿辜负王，也不敢辜负江山社稷。”说完，霍光流着泪离开了。
这时群臣进言：“古时被废掉天子位，都要被逐到远方，使其不能参与政务。请将昌邑王迁到房陵县去。”
上官皇太后下诏令刘贺回到昌邑，并赐给他封邑2000户。原来依附昌邑王刘贺的群臣未能尽到辅佐之责，使昌邑王获得恶名，霍光奏请上官皇太后将他们全部处死。这些人在行刑的时候还在高喊：“当断不断，反受其乱。”
昌邑王刘贺登天子位27天，旋即被废，古之所无。然而谁继承皇位，则是摆在众人面前的大问题。
武帝曾皇孙
废掉昌邑王刘贺，霍光的势力达到了顶峰，由他主持召开会议，商讨新任皇帝的人选。
霍光坐在厅堂当中，将丞相及以下官员全部召集来，讨论该立何人为帝。新皇帝首先应该从汉武帝的子嗣中挑选，而且辈分不能过高，也不能太低。广陵王刘胥在上次讨论中已经将其排除，刘胥一脉自然不适合。燕王刘旦在造反中被杀，他的儿子是没有资格继承皇位的。到底应该立何人为帝，所有人心中都没有了主意。
这时，光禄大夫邴吉向霍光进言道：“诸位大臣所论，都是诸侯宗室，忽略了没有爵位、尚在民间的皇室子孙。武帝临终前，已准许皇曾孙刘病已认祖归宗。此子乃是太子刘据之孙，年已十八，饱学多才，举止有度，名声在外，可以继承皇位。请大将军仔细思量。”
霍光等人被邴吉提醒，才想到汉武帝还有一个皇曾孙。由于识人不明，立昌邑王刘贺为天子，才有了27天废立的闹剧。这次群臣们自然接受了教训，对候选人的品德非常在意。于是派人调查此人。
刘病已是卫太子刘据的孙子，他的父亲刘进是卫太子刘据之子，刘进生母姓史，所以刘进也被称为史皇孙。史皇孙刘进娶了王夫人，生了个孩子就是皇曾孙刘病已。巫蛊之祸时，太子刘据被逼自杀，刘据全家受到株连，其三子一女皆死，史皇孙和王夫人也被杀。唯有尚在襁褓中的皇曾孙刘病已逃过一劫，被关在郡监狱中。
此时的邴吉被调任廷尉监，负责处理太子刘据一案。他知道太子无辜，加之怜悯这个几个月大的孩子，便选忠厚谨慎的两个女囚住在宽敞干净的牢房里，照顾这个孩子。
武帝病重之时，有术士对他说，长安的监狱中有天子之气。武帝便派遣使者，命令将长安监狱中人一律处死。武帝的使者晚上到了监狱中，邴吉见使者到来，将监狱的大门紧闭，对使者道：“皇曾孙在此。普通人尚不能擅自被杀，何况陛下曾孙？”
等到天亮了，使者也没能进去，只好回复武帝。武帝听完其报告，也自知此举不妥，叹口气道：“这是天意呀！”于是下令大赦天下，释放了所有犯人。
曾皇孙刘病已出狱之后，邴吉便四处寻找其亲人。刘据的岳母史老太还健在，刘病已便由她代为抚养。汉武帝驾崩之后，在遗诏中提及这个皇曾孙，命人将刘病已收养在掖庭，就这样刘病已又回到了长安，由掖庭令张贺照管。
张贺是右将军张安世的兄长，曾服侍过卫太子刘据。刘据非常赏识张贺，对其不薄，因此张贺为报答刘据的恩情，对照顾刘病已非常用心。不但将其送到私塾读书，还教给刘病已做人的道理。
张贺见刘病已聪明好学，非常喜爱，便想将自己的女儿许配给他为妻。然而对于这件事，张贺的弟弟张安世并不同意，他对兄长发怒道：“此子乃卫太子后裔，只要衣食无亏便是，我张氏女怎能嫁他！”
见弟弟如此反对，张贺也不执拗，便为其另寻佳偶。张贺觉得许广汉之女许平君不错，便托人说媒，许给刘病已为妻。许广汉是一名小吏，因触犯刑法，被施以宫刑，在当时便以为是奇耻大辱了。许广平得知自己的女儿被张贺相中，要嫁给卫太子之孙，自然满口答应。刘病已和许平君婚后的感情甚好，一年之后，许平君生下一子，取名刘奭。
刘病已不只高才好学，还喜欢游侠，斗鸡走马，游山玩水，市井之事，无所不知。他常常在长安诸陵、三辅之间游历，常常流连于莲勺县的盐池一带。尤其是喜欢到长安郊外的杜县、鄠县一带。刘病已在市井中的经历，令他对民间疾苦的感触非常深，对其执政不无益处。
霍光了解到刘病已的情况后，觉得他是最合适的人选，便和丞相杨敞等人商议。既然霍光已然做了决定，他们自然不会反对。
确定人选之后，霍光和丞相杨敞等大臣联名上书上官皇后：“《礼记》上道‘人道亲亲故尊祖，尊祖故敬宗’。嫡系长房没有子嗣，应该选择支系孝子贤孙为嗣。孝武皇帝的曾孙刘病已，武帝命令掖庭令照看抚养，如今已经是十八岁。学习过《诗经》、《论语》、《孝经》，躬行节俭，仁德爱民，可以作为孝昭皇帝的子嗣，继承大统，侍奉宗庙社稷，抚育万民。臣冒死上奏。”
上官皇太后，读罢上书，道：“可。”
曾皇孙刘病已住在长安城南的尚冠里，霍光派遣宗正刘德去迎接刘病已。刘德让曾皇孙梳洗沐浴，穿上御衣。太仆则驾着车迎接刘病已到宗正府。古代不能立庶民为皇帝，必须先有爵位。于是刘病已入未央宫见皇太后。上官皇太后将其封为阳武侯。不久，霍光奉上代表天子身份的皇帝玉玺和绶带。曾皇孙便于高庙拜祭先祖，正式称帝。
曾皇孙原名刘病已，后改名为刘询，登基这年正是公元前74年七月，时年18岁，这就是历史上的孝宣帝，第二年改年号为“本始”。上官皇太后，被尊为太皇太后。
宣帝本始元年（前73），宣帝下诏：“夫褒有德，赏元功，古今通谊也。大司马大将军光宿卫忠正，宣德明恩，守节秉谊，以安宗庙。其以河北、东武阳益封光万七千户。”
霍光原来就享有3000户的封地，加上这1.7万户，霍光拥有了2万户的封地。前后被赏赐的金多达7000斤（此时所说的黄金实际上是铜），钱6000万，丝绸3万匹，奴婢170人，马2000匹，上等住宅一所。
权臣落幕
霍光权倾朝野，这势必对皇帝的权威造成威胁，甚至他的妻子霍显杀掉了宣帝皇后，霍光也能将此事大事化小，小事化无。
宣帝继位后，群臣开始商议立何人为后。霍光有个小女儿名叫霍成君，年纪和宣帝相仿，群臣都想立霍光的小女儿为后，上官太皇太后也有这样的意思。宣帝对自己的妻子许平君感情深厚，不忍立他人为后，但是又不敢得罪霍光。于是下达了诏令，称在民间时遗失了一柄故剑，自己对这把剑感情深厚，要求臣子访求故剑。意思是借助访求故剑为名，委婉地抗议立霍光之女为皇后的建议。群臣见宣帝执意不肯抛弃旧妻，也不好强求，便上书请立许平君为皇后。
霍光的小女儿霍成君没有被立为皇后，使霍光的妻子霍显怀恨在心。霍显原本是霍家的婢女，颇受霍光宠爱。霍光的原配夫人去世后，霍显便成了霍光的正室。霍显为霍光生了几个女儿，但是非常宠爱自己最小的女儿霍成君，一心想让她拥有显贵的身份。宣帝继位之后，霍显心想一定能立小女儿为后，没想到宣帝以寻“故剑”为名拒绝了此事，并立许平君为后。霍显的希望落空后，不肯罢休，为了使小女儿成为皇后，霍显决定找机会除掉许皇后。机会很快就来了。
汉宣帝登基两年之后，许皇后又有了身孕。许皇后生产之前，常常感到身体不适，汉宣帝非常着急，便召女医官淳于衍进宫服侍皇后。
淳于衍的丈夫是掖庭护卫，对淳于衍道：“向霍夫人辞行的时候，要为我求取安池监的官职。”
有进宫的机会，淳于衍便想和霍显套近乎，特来向其辞行。淳于衍对霍显道：“我丈夫素来行事有度，如今想担任安池监的职位，还希望您能帮忙。”
霍显知道淳于衍将要入宫服侍皇后，计上心头，对淳于衍道：“你有事找我帮忙，我也有事找你帮忙，不知道行不行呢？”
淳于衍道：“夫人您说，自当遵从。”
霍显道：“妇人生产，十死一生。如今皇后将要生产，你趁机将其毒死。事成之后，我女儿便可以做皇后了。若能得到你的帮助，与你共享荣华富贵。”
淳于衍听后，大惊失色，不愿蹚这趟浑水，便道：“药由众人配置，进服时还要找人品尝，恐怕难以成事。”
霍显道：“这就要看你的了。如今霍将军管辖天下，谁敢多嘴？出事之后，自当庇护你，只怕你不去做。”
淳于衍思考了很长时间，才下定决心道：“愿尽力而为。”
淳于衍同意之后，便将药捣成药粉，藏在衣服里，带进宫中去了。
许后生下了一个女孩，产后感到没有力气，太医开了一个药方，制成药丸服用。淳于衍偷偷将药粉掺入药丸中，一起让许后服下了。皇后服药后，药性发作，不久便死去了。
宣帝得知皇后去世的消息非常悲痛，这时有人奏报，说皇后并非病死，而是被人毒死的。宣帝随即下令追查此事，那些太医自然是首先被调查的对象。此时淳于衍已经偷偷出宫，将成事的消息告诉了霍显。她刚刚回到家中，便被军士们逮捕了。
霍显知道这件事之后非常惊慌，她不在乎淳于衍的死活，但是非常害怕淳于衍将自己供出来。左思右想不知如何是好的时候，只好将这事告诉了丈夫，希望丈夫能帮自己渡过这个难关。
听到这件事之后，霍光整个人都惊呆了。然而毕竟是自己的结发妻子，总不能置之不理，真让人将其逮捕杀死吧，到时候哪还有脸面身居朝堂？只好叹口气，想办法平复这件事。
回到宫里之后，有人将许皇后遇害一案的奏报呈上，霍光趁此机会批示不准追究淳于衍。谋害许皇后一事，便这样过去了。
许皇后一死，霍成君自然成为新任皇后。这事让霍显很满意，霍光很满意，群臣也很满意，但是一个人不满意，这个人就是汉宣帝。自己的妻子被人毒死了，竟没有一丝线索，背后之人是有多大权势呀。每当想到这里，汉宣帝总是一阵后怕。
早在昭帝的时候，霍光的儿子霍禹和其兄长的孙子霍云是中郎将，霍云的弟弟霍山是车都尉侍中，统领胡越之兵。霍光的两个女婿分别是东西宫的卫尉，他的其他亲属也都是朝中重臣。史书上评价霍光是：“党亲连体，根据于朝廷。”
宣帝继位之后，霍光上书，请求将政权交还给皇帝。宣帝知道自己没有足够强大的力量，坚辞不受，仍然要霍光代为执政。此后所有的政事都要先请示霍光，然后才会呈奏给宣帝。霍光每次朝见宣帝时，宣帝都会对霍光礼敬有加。
连皇帝都惧怕霍光三分，但他真的看不出许后之死与霍氏有关吗？恐怕未必，只是不敢说罢了。天子如此，群臣自然是对霍光礼敬有加。按照当时的制度，丞相应该是臣子中的首位，但是霍光辅政期间，丞相实际成了“外朝”首领，需要向“内朝”首领霍光负责。原来丞相的权柄全部操于霍光之手，而外朝的丞相，只是一个形式罢了。
例如霍光辅政期间第一任丞相田千秋，素来忠厚谨慎，和霍光等一起接受遗诏，辅佐幼主。每逢公卿大臣朝会，霍光便对田千秋说：“您和我一起接受遗诏，您处理外事，有什么要教导我的吗？”田千秋道：“请将军多留心，就是天下极大的荣幸了。”始终不肯对霍光的专权提出意见。
田千秋年纪大了，走路都困难，因此进宫时特别恩准可以坐着小车，人们都称他为车丞相。田千秋的表现只是一个缩影，此后，霍光当政期间又先后任命了四位宰相，都对其礼敬有加。
再大的权势也有终结的时候，谁也不能逃脱死亡的命运。霍光主持朝政前后达20年之久，到了宣帝地节二年（前68）春天，霍光病情更重了。宣帝亲自到霍府去探望，此时霍光已经口中有痰，且时常喘息，已经到了弥留的边缘。宣帝见老臣如此，不禁潸然泪下。
霍光在最后一封上书中写道：“我愿分出我的封国食邑3000户，用来封赏我的侄孙奉车都尉霍山为列侯，让他能够奉祭我的哥哥骠骑将军霍去病，希望您能恩准。”阅完，宣帝便命人转递给丞相和御史，命他们妥善处理。而且在当天便任命霍光的儿子霍禹为右将军。
霍光去世后，宣帝和太后都前去吊唁。宣帝赏赐了金钱、絮帛和绣被100条、衣服50箱，用于陪葬，还赏赐了金缕玉衣（金线缀连玉片做成的丧服）、棺、椁、黄心柏木的棺材垫各一具，枞木做的外藏用棺15具，以及其他陵墓随葬品，制式等同于天子。众大夫与御史5人，手持符节护丧。霍光的灵柩载在辕车上，用黄缎做车盖子，挑材官、轻车、北军的5营士兵前来送葬，队伍一直到茂陵。
为了褒赏霍光的功德，朝廷为其颁布谥号为宣成侯。还调来三河士兵为其修筑陵墓，在其墓上修建祠堂。在陵墓周围划出300户百姓，为霍光看守陵园，派遣高级官吏像生前一样来侍候霍光。
丧礼完毕之后，宣帝封霍山为乐平侯，以奉车都尉管理尚书事务。下诏褒奖霍光道：
“故大司马、大将军、博陆侯宿卫孝武皇帝三十有余年，辅孝昭皇帝十有余年，遭大难，躬秉谊，率三公、九卿、大夫定万世册，以安社稷，天下蒸庶咸以康宁。功德茂盛，朕甚嘉之。复其后世，畴其爵邑，世世无有所与，功如萧相国。”
为了表示对功臣们的怀念，公元前51年，汉宣帝决定在未央宫麒麟阁为11位有功大臣画像，以彰显其功绩。霍光自然身居其一，更获得了一项殊荣。每个人的画像下面都注明了此位功臣的官职、爵位、姓名。为了表示对霍光的尊敬，唯独他的画像下面没有写名字，只写了“大司马、大将军、博陆侯，姓霍氏”。
宣帝对霍光恩宠有加，不代表对霍氏子弟同样优待。霍光去世后，霍氏家族的势力仍然存在，但是没有了霍光这个主心骨，霍氏再想左右朝政，那是不可能的了。于是宣帝采纳御史大夫魏相的建议，废除“副封”制度，并下令加封魏相为给事中，让其加入内朝，以牵制霍氏集团。随即又以“老病”的名义免除了给事中韦贤的职位，这样就将内外朝都掌握在了手中。
与此同时，加封皇太子的外祖父许广汉为平恩侯，与其弟中郎将许舜共同监护太子，以免霍氏有非分之想。这样一来，就断绝了霍氏继续以外戚的身份操纵朝政的可能。霍光的夫人霍显听到这个消息后，气得吃不下饭，直吐血，愤恨道：“这是民间时的儿子，怎么能立为太子？如果霍皇后有儿子了，反而要立为王吗？”不久之后，宣帝将霍氏掌握兵权者全部调离原有岗位，或者外放为太守，或者转任文职，并换上自己信任的人掌握军队。
自从霍光去世之后，霍氏族人闹得实在不像话。霍显私自把霍光的陵墓扩大，修建了3个出口，每个出口建立起阙门，在墓前筑起一条长长的巷道把祠堂和陵墓连接起来，并且幽禁了一些已经赎身的奴婢看守陵墓，这已经超出了人臣应该享受的礼制。她同时还扩建宅地，建造精美的车子，让婢女用彩色丝绳拉着在院子里游玩。她还经常和几个女儿随心所欲地出入宫中，侍从众多，极其奢华。
霍禹和霍山则整天与伙伴们围猎跑马，玩得兴起不想上朝时，便请奴仆去禀报一声。霍氏家奴也分外不像话。有一次，霍氏家奴和御史大夫魏相的家奴因为争抢道路起了冲突，霍氏家奴竟要去踏平魏家府门。后来御史出来叩头谢罪，霍氏家奴才离去。
他们时时以霍光立君之功自居，他们认为既然皇帝是霍光拥立的，那么霍氏子孙就要与之共享荣华富贵。像他们这样的人，怎么会有好结果呢？茂陵徐生说：“夫奢则不逊，不逊必侮上。侮上者，逆道也。在人之右，众必害之。霍氏秉权日久，害之者多矣。天下害之，而又行以逆道不亡何待！”
霍光去世仅仅3年，宣帝渐渐收回了霍氏把持的权柄，而且霍显弑杀许后的罪行宣帝也已经知道了。霍氏无奈，铤而走险，准备谋反。但是还没成事，便被举报了。霍云、霍山及范明友自杀，霍禹被判腰斩，霍显及其女儿、兄弟等判弃市，在市场中心被杀，以让人唾弃。此时被株连的人已有数千，霍后也被废。
极盛一时，行废立之事，垄断朝政数十年的霍氏一族灭绝，无一幸免。
