朝政已经走上了正轨，汉王朝重新强大了起来，滞留匈奴数十年之久的著名使臣终于重新回到祖国的怀抱，这一切霍光居功至伟。然而就在这时，曾经的盟友上官氏却对霍光的专权越来越不满。
坚贞的苏武
昭帝继位之后，汉朝的经济和军事力量实际上已经被汉武帝拖垮了，因此，对待匈奴的政策也和汉武帝时期大不相同，从攻势转为守势。霍光辅政后开始和匈奴接触，试图讲和。而此时匈奴内部也产生了分裂，不希望再进行大规模战争。
昭帝二年（前85），匈奴单于病重，但是其子年少，不能治国。单于见此情景，只好立下遗嘱道：“嗣子年幼，立弟右谷蠡王为单于。”但这样一来就触犯了一些人的利益，丁灵王卫律和颛渠阏氏不满遗命，在单于死后，矫诏立幼子，即狐鹿姑的儿子壶衍鞮为单于。并召集匈奴诸王，祭祀天地鬼神。
匈奴的政治结构和汉朝不同，诸王都拥有自己的领地和人民，因此都有相当大的实力，相对独立。右谷蠡王和左贤王等都不服幼主，拒绝应诏。如此一来，颛渠阏氏的如意算盘就打不响了，本想以幼主为傀儡，号令匈奴的计划面临破产的危险。
只要内乱一生，颛渠阏氏就要面对匈奴众王的怒火，这是她承担不起的。为了自己，她想到了强大的汉王朝，于是派出使臣，向汉王朝求和，以作响应，对抗诸王。
霍光接见了匈奴使臣，也认为这是一个双方言和的有利时机，随即也派遣使臣出使匈奴。使臣带着霍光提出的条件来到了匈奴，对颛渠阏氏等匈奴贵族道：“如要言和，须放回苏武、常惠等人。”
苏武是汉朝出使匈奴的使臣，被匈奴扣留已经10余年的时间了。这还要从汉武帝时说起，当时，汉王朝不断征讨匈奴，双方经常互派使臣侦察。匈奴先后扣留了汉使数批人，汉朝也扣留了匈奴使臣。汉武帝天汉元年（前100），且鞮侯单于即位，畏惧汉朝的攻击，声称：“汉朝天子是我的长辈，双方不应再战。”接着，送还了之前扣留的汉朝使节。
汉武帝非常高兴，于是派遣苏武以中郎将的身份，持节护送扣留在汉的匈奴使者回匈奴，并带着汉武帝的礼物，答谢且鞮侯单于。和苏武一起的还有副中郎将张胜和临时委派的使臣常惠等，以及临时招募的百余名士卒。
然而，在到匈奴之后，张胜卷入了缑王与虞常等人的谋反行动中，以苏武为首的汉朝使团同样受到牵连。单于想让汉朝使臣降于己，但苏武在受审的时候竟拔刀自刺，以全臣节。负责审问的卫律急忙将其保住，快马找来医生，才救得苏武一命。
单于钦佩苏武的气节，越发想要苏武投降，便经常派遣使臣劝降苏武。负责劝降的卫律挥剑斩杀了虞常后道：“汉使张胜谋杀单于亲近大臣，理应处斩，单于惜才，投降可免死。”说罢，举剑就要斩张胜。张胜见状，急忙跪地请降。卫律又对苏武道：“副官有罪，主官当连坐。”苏武面无惧色，卫律挥剑作势要砍杀苏武，苏武也不为所动。卫律只好回报单于。
单于越发想让苏武投降，于是将其置于大地窖内，不给他吃喝。苏武渴则吃雪，饿则吞吃毡毛，竟得数日不死，匈奴以为其有神助，于是将苏武迁到北海，命其放公羊，对其道：“公羊生小羊方可回汉。”
后来李陵投降匈奴，被封为右校王，但是愧对汉朝，不敢寻访苏武。单于知道李陵和苏武同为汉臣，素有来往，便派遣李陵到北海，为苏武设酒宴和歌舞，劝降苏武。李陵本是汉朝名将，与匈奴作战时勇猛异常，有一次被匈奴重兵包围，为了让手下士卒逃出重围，无奈向匈奴投降。李陵虽心怀故国，但是武帝将其全族斩杀，已无回归的可能。如今见到苏武拒不投降，怎能不感慨万千。
李陵对苏武道：“异国相逢，别来无恙否？”
苏武想到了自己这些年的遭遇，叹口气道：“想不到你我二人竟在匈奴相逢。我初到北海时，衣食拮据，只好挖野鼠所藏的果实为食。每日手持汉节牧羊，节上的毛全部脱落了。这样过了五六年，单于弟弟于靬王到北海打猎，给我衣食，才好过点。于靬王部下迁离后，便再度贫困了。”
李陵闻言，不禁悲从中来道：“你这又是何苦？降于匈奴，便可立即得享富贵。”
苏武知其已降，又听此言，怒从心头起，但是想到彼此的遭遇，叹口气道：“休要再言，不知今生还能否回到故国！”
李陵道：“你还不知道你家人的遭遇吧？”
提及家人，牵动了苏武的心弦，问道：“他们现在如何？”
李陵道：“君长兄嘉，曾为奉车都尉，随从圣驾至雍的棫阳宫，皇帝扶辇下除，撞到柱子折断车辕，被指控为大不敬，伏剑自刎，皇帝赐钱200万作为丧葬费。君弟贤随从圣驾祠河东后土，宦骑与黄门驸马争船，把驸马推到河里淹死了。宦骑逃亡，皇帝下诏让苏贤追捕，没抓到，苏贤惶恐服毒自杀。我来的时候，你的母亲已不幸去世，我送葬至阳陵。你的妻子年少，听说已经改嫁了。只有两个妹妹、两个女儿、一个儿子，从你离家至今已经十几年了，是不是还活着也不知道。人生如朝露，又何苦如此？我刚来匈奴之时，也像你这样痛苦，而且老母正在宫里，我不想投降的心情，比你还迫切。陛下年纪已大，法令无常，大臣无罪而灭族者数十家。你还有什么可流连的呢？此时降匈奴，也不会玷污你的英名呀。”
苏武听了李陵的话，才知道已经家破人亡，不禁泪如雨下，含泪对李陵道：“武父子本无功绩，承蒙主上不弃，委以重任，常思肝脑涂地，无以报答主上。如今纵使杀生自校，虽赴汤蹈火，在所不辞，不要再说了。”
李陵闻言，思及身世，也流下泪来。不待多说什么，仰头就将杯中酒倒入口中。二人都是悲愤莫名，两人一杯接着一杯地喝酒，很快就酩酊大醉。
李陵在苏武这里住了数天，两人天天痛饮，壶中日月长，两人几乎忘却了一切烦恼。然而酒有尽头，梦有醒时，那就是要面对现实的时候了。李陵道：“你就听我一句劝吧，何苦为难自己？”
苏武见李陵又说出劝降的话，愤然道：“武早有蓄死之意，你非要我投降匈奴，那今天就死在席前！”
李陵见苏武如此，喟然长叹道：“君真乃义士也！我和卫律罪通上天！”说着泪下沾襟，不能自已。说罢，辞别而去。
此后李陵送给苏武衣食、财物，并劝说苏武道：“你还是纳伊胡女为妻吧，也好为苏家留下一条血脉。”
这话触到了苏武的心底。苏氏满门所剩无几，妻子改嫁，儿女不知生死，如果断绝苏氏一门血脉，又怎么对得起列祖列宗？想到这里，他应允了李陵的请求。于是李陵为其寻觅了一胡女为妻，从此苏武在匈奴也有了家室。
又过了一段时间，李陵告诉苏武，汉武帝驾崩，幼子昭帝继位。苏武闻听此言，面向南方号啕大哭，直到呕血。每天早晚哭吊，数月之后才停止。
到了昭帝时，匈奴一分为三，匈奴和汉王朝议和。霍光想让匈奴放回苏武等人，但是匈奴不愿意放人，向西汉使臣谎称苏武等人已经死了。同样被扣留在匈奴，当年和苏武一起出使的常惠得到了这个消息，买通了匈奴官吏，趁夜色见到了汉朝使臣，将这些年的情况告诉了汉使。
第二天，单于接见汉使。汉使对单于道：“苏武为我朝使臣，久居匈奴，必须放回。”
单于仍然对汉使道：“苏武已经病逝。”
汉使已知详情，正色道：“单于休要隐瞒，我等已经知晓详情。大汉天子于上林苑中田猎，射得一雁，大雁足上系有帛书，乃是苏武亲笔所书，言道正在北海牧羊。如今单于想要言和，为何还要欺瞒我等？”
单于闻言，大惊失色，叹口气道：“苏武忠节，竟感及鸟兽？”遂向汉使道：“苏武无恙，确实正在北海，你们可以将其带走。”
既然释放苏武，扣押的其余诸人都随其自便，可以回汉。
得到这个消息，李陵摆设酒宴款待苏武。酒至兴起，李陵感慨道：“足下如今得回故国，匈奴扬名，汉室显功，古书中所记载的事迹、图画所描绘的功臣，没有能超过你的。”
苏武道：“为何不与我同归汉室？”
李陵道：“我李陵虽然无能且胆怯，假使汉廷宽恕我的罪过，不杀我的老母，使我能够实现奇耻大辱下继续的志愿，如同曹沫在柯邑订盟一样，我如何敢忘！然而杀戮我全家，受此侮辱，我李陵又有何面目再归故乡？你知我心事，从此恐怕就是永别了。”
说到这里，李陵已经控制不住眼泪，泪如泼雨，难以自持，遂离座起舞，慷慨而歌：“经万里兮度沙漠，为君将兮奋匈奴。路穷绝兮矢刃摧，士众灭兮名已聩，老母已死，岁报恩，将安归？”
李陵泪下纵横，苏武同样不能自制，泪如泉涌。两个当世豪杰，一个数万军中从容迎敌，一个利刃悬头而面不改色，如今分别在即，国事家仇涌上心头，令人唏嘘。
当年苏武奉武帝命出使匈奴，同行者有百余人，而今回归故土，除常惠外竟只有9个人，其中马宏并不是与苏武一同出使的。汉武帝晚年，马宏和光禄大夫王忠出使西域，路过楼兰，被匈奴截击，王忠战死，马宏被擒。匈奴迫使马宏投降，马宏拒不投降，这才和苏武一同重回故国。
昭帝始元六年（前81）春，苏武一行人回到了阔别已久的长安。19年前，苏武出使时只有40岁，如今归来，已是须眉皆白。苏武手中还持着当年汉武帝赐予的汉节，旄头早已落尽，只剩一根破烂不堪的棍子。然而长安百姓见了，无不感叹。
昭帝和霍光立即召见了苏武等人。苏武手持汉节，凝视了年幼的昭帝一番，心中自是无限感慨。他向昭帝行大礼道：“臣不辱使命，奉命出使匈奴，如今19年，特奉还使节。”说着举起了手中破烂不堪的汉节。
缴还汉节之后，苏武奉召带着祭品前往汉武帝陵庙拜祭武帝。随后霍光传诏令，苏武官拜典属国，俸禄中二千石；赐钱200万，官田二顷，住宅一处。常惠、徐圣、赵终根都官拜中郎，赐丝绸各200匹。其余6人因年老而返乡，各赐钱10万，终身免徭役。
苏武回到家中，只剩下儿子苏元和侄儿，其他亲人都已经不在了，想到那些亲人未免伤感。在匈奴的妻子已有身孕，没有带回长安。他和李陵经常通过双方使节通书信，得知胡妻生了儿子后，心中稍感安慰。于是他写信给胡妻，为儿子取名通国，以示安慰。
苏武希望李陵能够回到长安，因此常常在写给李陵的信中劝其回归。霍光也非常希望李陵能够重归于汉，于是在拜访苏武的时候问道：“您看李陵有回来的打算吗？”
苏武道：“只怕是单于不肯呀。”
霍光道：“只要李陵有回归之心，我定有办法让他归来。您也要多写书信，劝其回归。”
苏武道：“此事义不容辞，定当催促。”
于是霍光派遣使者出使匈奴，只为召李陵归汉。在宴会上，李陵和众汉使饮酒。汉使见李陵身穿胡服，不免失望。等到合适的机会，汉使向李陵道：“陛下和大司马翘首以盼足下回归。”
李陵道：“如今哪还有面目见家乡父老？”
汉使道：“苏大人回归，人人敬仰，您回归也是一样的。”
李陵摇头道：“我们不一样呀！”说罢拿出一封书信递给汉使道：“这是我写给苏大人的信，但愿能明白我一片心迹。”
汉使见李陵无意归汉，便不再强求，只将其一封信带给了苏武。
苏武打开李陵的信，只见李陵在信中句句刨心，读之让人潸然泪下。李陵写道：
子卿足下：
勤宣令德，策名清时，荣问休畅，幸甚幸甚。远托异国，昔人所悲，望风怀想，能不依依？昔者不遗，远辱还答，慰诲勤勤，有逾骨肉，陵虽不敏，能不慨然？
自从初降，以至今日，身之穷困，独坐愁苦。终日无睹，但见异类。韦韝毳幕，以御风雨；膻肉酪浆，以充饥渴。举目言笑，谁与为欢？胡地玄冰，边土惨裂，但闻悲风萧条之声。凉秋九月，塞外草衰。夜不能寐，侧耳远听，胡笳互动，牧马悲鸣，吟啸成群，边声四起。晨坐听之，不觉泪下。嗟乎子卿，陵独何心，能不悲哉！
与子别后，益复无聊，上念老母，临年被戮；妻子无辜，并为鲸鲵；身负国恩，为世所悲。子归受荣，我留受辱，命也如何？身出礼仪之乡，而入无知之俗；违弃君亲之恩，长为蛮夷之域，伤已！令先君之嗣，更成戌狄之族，又自悲矣。功大罪小，不蒙明察，孤负陵心区区之意。每一念至，忽然忘生。陵不难刺心以自明，刎颈以见志，顾国家于我已矣，杀身无益，适足增羞，故每攘臂忍辱，辄复苟活。左右之人，见陵如此，以为不入耳之欢，来相劝勉。异方之乐，只令人悲，增忉怛耳。
嗟乎子卿，人之相知，贵相知心，前书仓卒，未尽所怀，故复略而言之。
昔先帝授陵步卒五千，出征绝域。五将失道，陵独遇战，而裹万里之粮，帅徒步之师；出天汉之外，入疆胡之域；以五千之众，对十万之军；策疲乏之兵，当新羁之马。然犹斩将搴旗，追奔逐北，灭迹扫尘，斩其枭帅，使三军之士，视死如归。陵也不才，希当大任，意谓此时，功难堪矣。匈奴既败，举国兴师。更练精兵，强逾十万。单于临阵，亲自合围。客主之形，既不相如；步马之势，又甚悬绝。疲兵再战，一以当千，然犹扶乘创痛，决命争首。死伤积野，余不满百，而皆扶病，不任干戈。然陵振臂一呼，创病皆起，举刃指虏，胡马奔走。兵尽矢穷，人无尺铁，犹复徒首奋呼，争为先登。当此时也，天地为陵震怒，战士为陵饮血。单于谓陵不可复得，便欲引还，而贼臣教之，遂使复战，故陵不免耳。
昔高皇帝以三十万众，困于平城。当此之时，猛将如云，谋臣如雨，然犹七日不食，仅乃得免。况当陵者，岂易为力哉？而执事者云云，苟怨陵以不死。然陵不死，罪也；子卿视陵，岂偷生之士而惜死之人哉？宁有背君亲，捐妻子，而反为利者乎？然陵不死，有所为也，故欲如前书之言，报恩于国主耳。诚以虚死不如立节，灭名不如报德也。昔范蠡不殉会稽之耻，曹沫不死三败之辱，卒复勾践之仇，报鲁国之羞，区区之心，窥慕此耳。何图志未立而怨已成，计未从而骨肉受刑，此陵所以仰天椎心而泣血也。
足下又云：“汉与功臣不薄。”子为汉臣，安得不云尔乎？昔萧樊囚絷，韩彭菹醢，晁错受戮，周魏见辜。其余佐命立功之士，贾谊亚夫之徒，皆信命世之才，抱将相之具，而受小人之谗，并受祸败之辱，卒使怀才受谤，能不得展。彼二子之遐举，谁不为之痛心哉？陵先将军，功略盖天地，义勇冠三军，徒失贵臣之意，刭身绝域之表。此功臣义士，所以负戟而长叹者也。何谓不薄哉？且足下昔以单车之使，适万乘之虏。遭时不遇，至于伏剑不顾，流离辛苦，几死朔北之野。丁年奉使，皓首而归；老母终堂，生妻去帷。此天所希闻，古今所未有也。蛮貊之人，尚犹嘉子之节，况为天下之主乎。陵谓足下当享茅土之荐，受千乘之赏。闻子之归，赐不过二百万，位不过典属国，无尺土之封，加子之勤。而妨功害能之臣，尽为万户侯；亲戚贪佞之类，悉为廊庙宰。子尚如此，陵复何望哉？且汉厚诛陵以不死，薄赏子以守节，欲使远听之臣望风驰命，此实难矣，所以每顾而不悔者也。陵虽孤恩，汉亦负德。昔人有言：“虽忠不烈，视死如归。”陵诚能安，而主岂复能眷眷乎？男儿生以不成名，死则葬蛮夷中，谁复能屈身稽颡，还向北阙，使刀笔之吏弄其文墨耶？愿足下勿复望陵。
嗟呼子卿，夫复何言？相去万里，人绝路殊。生为别世之人，死为异域之鬼。长与足下生死辞矣。幸谢故人，勉事圣君。足下胤子无恙，勿以为念。努力自爱，时因北风，复惠德音。李陵顿首。
苏武读罢李陵之书，以明其心志，便不再劝其回国。忠臣良将，当以富贵封赏，岂能随意屠戮？李陵和苏武心中的苦闷可想而知。然而他们的遭遇绝非偶然，汉武帝不希望自己的将领投降，无论出于什么理由。
霍光得知李陵执意不回，也不再强求。毕竟属于李陵的时代已经过去了，摆在霍光面前最大的问题是已经威胁到自己的上官家族和桑弘羊家族。
上官安封侯
一天，霍光听左右议论上官安封侯之事，便疑惑道：“上官安什么时候封侯了，我怎么不知？”
左右道：“天子已经下诏，封上官安为桑乐侯。”
霍光虽心中震惊，但不便继续议论，后来知道自己的女婿上官安果然被封侯。此乃昭帝钦定，况且加封皇后之父为诸侯，已成惯例，无可厚非。想到这里，霍光虽然不喜，但也不好说什么。
上官安本来就是一纨绔子弟，封侯之后，越发荒唐**。有一次上官安入宫与昭帝宴饮，宴会结束之后，上官安出门之后对宾客道：“今日与女婿宴饮，甚是欢乐。”见到昭帝衣着华丽，宫殿中器物精美，回到家中竟想将家中器物付之一炬，被家人阻拦才得作罢。
非但如此，上官安喝醉之后，常常在家中**，和后母及其父亲的良人、侍御肆意**。他的儿子病死后，更是仰头骂天。
这样的一个人封侯，怎么能不让霍光心生愤懑呢？此时霍光和上官家的矛盾越来越激烈。
有一个太医监名叫充国，因无缘无故上殿，触犯了刑法，被捕入狱。上官桀的老丈人非常宠爱充国，闻听其被捕入狱，立即便找上官父子求救。上官桀挨不过情面，便入宫求见霍光，希望能够宽恕充国的罪名。
上官桀对霍光道：“充国是我丈人的好友，看在我的情面上就请饶恕充国一次吧。”
霍光道：“此言差矣！不得私自进殿是宫中规矩，充国无故进殿，依然触犯国法，岂能宽恕？如果宽恕此人，那么日后人人都要进殿，那么还有什么规矩可言？”
上官桀哀求道：“只此一次，以后请将军严格执法。”
霍光怒道：“休要再言，难道你不知道国法为何物吗？”
上官桀见霍光不肯通融，怒火心中生，但是又不能向霍光发火，只能拂袖而去。回到家中怒火难平，这时上官安道：“父亲，大事不好，充国已经被问了死罪，很快就要人头落地了。”
死一个充国，上官桀自然不放在心上，但是霍光驳了自己的面子，他当然咽不下这口气。上官桀恨恨道：“我父子都是将军，孙女又是皇后，权高位重，声名赫赫，岂能为霍光所制？”
上官安道：“只能请盖长公主代为处理，此事方能化解。”
上官桀道：“看来也只能如此，你快去找盖长公主。”
上官安应声称是，便急忙来到宫中求见盖长公主。盖长公主也没有更好的办法，只得替充国献了20匹马，才逃过一死。
此事之后，上官桀父子更加感激盖长公主，同时也和霍光的仇恨更深了。上官桀越想越愤怒，对上官安道：“我上官安能有今日，实属不易。同是奉召辅政之臣，岂能容霍光大权独揽，独断专行？”
上官安道：“父亲，如今霍光势大，独揽朝政，我上官一家定不是其对手，不如联合其他人，一举将其拿下。”
上官桀道：“霍光这些年得罪的人非常多，御史桑弘羊为国家呕心沥血，立下了赫赫功劳，如今却处处被排挤，其心中定然愤懑。燕王刘旦，得不到皇位更是怀恨在心。和这两个人结盟，大事可成。”
上官安道：“儿臣明白，这就去联络桑弘羊和燕王。”
上官桀道：“外有我等，内有盖长公主作为内应，哪还有霍光施展的余地？”
这时，霍光正赴广明校阅御林军，趁此机会，上官桀便联系上桑弘羊。
上官桀对桑弘羊道：“我等与霍光同是先帝托孤辅政之臣，如今霍光处处排挤我等，唯恐与其争权。我等顾命大臣，竟无所作为，这都是拜霍光所赐。就拿您来说，为先帝献上酒榷之策，为大汉解了燃眉之急，如今说撤就撤了，眼里哪还有你我等老臣？”
见桑弘羊脸色已变，上官桀接着道：“我等这班老臣，为朝廷鞠躬尽瘁，而且须眉皆白，想为子弟某些职位，竟不得其应允。但是霍氏子弟和依附他的人得享高位，先帝泉下有知，定会怪罪我等不制止他呀。”
说到这里已经勾起了桑弘羊的怒火，愤恨道：“当初他进宫之时，年纪尚幼，他哥哥死后，我等更是怜悯于他。当时他为人恭谨，做事勤勤恳恳，谁能想到先帝一去，他便大权独揽。”
上官桀道：“看来其狼子野心隐藏多时了，如此恩将仇报，图谋不轨之人，定当除之而后快。”
桑弘羊闻言马上来了精神道：“你已经有策略了吗？”
上官桀笑道：“犬子已经联络了燕王，咱们协同，便能将霍光拿下。”
等到霍光检阅御林军归来，他的亲信告诉他：“您这些日子不在长安，燕王弹劾您图谋不轨，务必多加小心。”
霍光闻言，不敢上朝，只得候在朝外，静等昭帝发落。
昭帝临朝，不见霍光，问道：“大将军不是已经回来了吗？怎么不见他上朝？”
上官桀上前道：“大将军被燕王弹劾，故不敢入内。”
昭帝闻言，下令左右道：“还不快请大将军进殿！”
霍光进殿之后，免冠谢罪，道：“臣惶恐，或有不周之处，望陛下明鉴。”
昭帝道：“大将军快请戴冠，燕王上书告你图谋不轨，朕知你无罪。”
霍光听完这话，泪水不自觉便流下来了，道：“谢陛下体谅，只是不知您何以断定臣无罪？”
昭帝道：“将军到光明校阅御林军往返不多十日，燕王远居蓟地，距离长安有十余日的路长，即便将军有异动，也不会这么快便上书给朕。明明是事先有人安排，陷害将军。”
朝中文武大臣本来听说燕王弹劾霍光，都心中惊恐，以为朝中可能生变。如今听到昭帝说了这番话，一颗心便放下来了。如今昭帝已经14岁了，已经不是当初的孩童，更不是可欺之君。
只听昭帝又道：“明明是有人伪造文书，诬陷将军，着有司速速查明是何人上书，受谁指使，以诬陷将军定罪！”
上书人见计策不成，自己恐遭祸患，便躲在了上官桀府中。如此一来，谁还能追查得到？然而昭帝常常过问此事，上官桀只好对昭帝道：“此事不必深究，陛下只要信任将军即可。”
昭帝道：“这怎么行！将军是朝中重臣，陷害将军绝非小事，要速速查明真相。”
上官桀只好点头称是，随后退下了。
反目成仇
上官桀见昭帝如此信任霍光，利用昭帝将其除去的想法看来是不行了，但是可以慢慢离间昭帝和霍光之间的关系，让昭帝对霍光产生戒心，再用计策，就能将霍光一举拿下了。
于是上官桀买通了昭帝的内侍，让其在昭帝旁边说些霍光的坏话。内侍按照上官桀的吩咐，见昭帝无事，便近前道：“朝中大臣都以大将军马首是瞻，朝中大小事务都由霍光一人做主，群臣都不把陛下您放在眼里，甚至只知有大将军不知有陛下。”
昭帝闻言，发怒道：“大将军是先帝所命托孤之臣，向来勤勤恳恳，忠于朕和大汉朝，若再敢妄言，定当治罪。”
内侍见昭帝如此愤怒，不敢再说什么，只好回禀上官桀。上官桀听了内侍的报告，脸色更加不好看，如果再这样下去，上官家定然会被逐渐排挤出权力圈，这不是上官桀所能忍受的。上官桀心想，既然已经如此，索性一不做二不休，彻底将霍光铲除。
上官桀对儿子道：“我定要杀了霍光，不然我们上官家永无出路！”
上官安道：“父亲可有计策？”
上官桀道：“如今皇帝年幼，霍光独断专行。联系燕王，起兵作为外应，杀了霍光，废掉皇帝，将燕王诱到长安，将其杀死，这天下就是我上官家的了。”
上官安听了父亲的话惊出一身冷汗，但是当上官安想到父亲登基，自己就是太子了，将来也会做皇帝。想到这里，只剩兴奋，哪还有顾忌？
上官桀又道：“这事还要请盖长公主帮忙，盖长公主对霍光也怨恨极深。告诉盖长公主，杀掉霍光，废掉幼主，迎立燕王之后，她定能从中受益。”
上官安道：“怎么杀掉霍光呢？”
上官桀道：“让盖长公主设席款待霍光，设伏兵行刺。再派人通报燕王，叫他预备入都。”
定下计划，上官安派人送信给燕王，请他早做准备。很快，燕王的回信就到了，自然同意了此事，当即许诺事成之后封上官桀为王。
燕王接到上官家的信息后，便开始和臣下商议此事。燕国丞相知道此事之后，极力阻止燕王道：“以前您和刘泽相约起事，但是刘泽为人轻佻，在事发之前便透露了风声，以至于谋泄无成，差点连累您。如今车骑将军位高权重，但是仍未免狷狂，恐难成事，还请大王三思。”
燕王刘旦听了丞相的话，不以为然道：“前几日，有人自称卫太子，长安城中百姓、官吏争相簇拥，不得不派兵镇守，以防骚乱。我乃先帝长子，废长立幼，于礼法不合，如今我取回自己的东西，天下人都拥护才是。”
丞相见燕王依然执迷不悟，便不再多说什么了。
不久之后，燕王召集群臣，宣布：“盖长公主密报，霍光乱国，皇帝年幼不任贤臣，如今欲举大事。我等将进入长安，应早做准备。”
燕王门客中有个叫吕广的，善于卜卦，对燕王道：“本年恐有兵马围城，在九、十月间，祸患恐怕为期不远了。”
燕王听说如此，惊恐道：“难道事有不妙？”
盖长公主听从上官桀的建议，准备找个时机邀请霍光赴宴，埋伏下力士，一举将其刺死。上官桀父子以为此事定能成功，上官安更是暗自高兴，有机会登上皇位，怎能不让人兴奋呢？
上官安的属下对他道：“行此大事，将致陛下于何地？”
上官安笑道：“逐麋鹿之犬还顾及兔子吗？我父子历尽千辛万苦才得以显贵，若人主意变，求为平民而不可得。如今有此机会，万万不会错过。”
然而，世上没有不透风的墙，他们密谋的消息很快就传到了霍光的耳朵里。
有个叫燕苍的人，原本在大司农官署当稻田使者，卸任后在家养老，他有个儿子是盖长公主的舍人。燕苍的儿子无意中知道了他们的谋划，随后告诉了燕苍。燕苍知道这件事非同小可，如果成真难免朝野动**。于是他对好友搜栗都尉杨敞道：“最近朝中难免生变，应该小心从事。”
杨敞不知其故，问道：“究竟会发生什么事呢，让你如此小心？”
在杨敞反复追问下，燕苍只好告诉他道：“我儿在盖长公主处获得消息，盖长公主和上官桀等人要谋害大将军。盖长公主要请大将军饮酒，然后趁机将其杀害。”
杨敞听说后，简直不寒而栗。他回到家中，辗转反侧，难以入眠。他无心政务，加之不知如何是好，只好请假在家休养。杜延年是杨敞好友，听说他生病了，便登门拜访，见杨敞神色焦虑，便问其故，杨敞便把事情的来龙去脉告诉了杜延年。
杜延年是霍光心腹，上官桀等人的谋逆之举已经不再是秘密了。昭帝元凤元年（前80）九月，霍光听到这个消息，立刻觐见昭帝，将事情的经过告诉了昭帝。霍光和昭帝下令，丞相田千秋逮捕逆党。
田千秋接到密诏，知道事情重大，心想：如果发兵逮捕上官桀等人，必将生乱，不如将其骗到府上来再说。他便派遣丞相属官，请上官桀前来议事。
上官桀不知有诈，驱车来到丞相府。他刚刚进府门，便听田千秋道：“陛下有旨，上官桀等人谋反，即斩首。”说完，不等上官桀有反应，早有力士抽出长刀将其头颅砍下。用这样的方法，同样斩杀了上官安。
上官父子被斩首后，田千秋上报霍光，霍光又命他捉拿御史大夫桑弘羊。田千秋点齐人马直奔桑弘羊府邸而去，桑弘羊很快就成了刀下亡魂。
盖长公主得知上官桀父子和桑弘羊被杀后，自知事情已败露，自杀身亡，丁外人很快也被诛杀。盖长公主的儿子文信，被撤销封侯。此事牵连甚广，苏武的儿子苏元和桑弘羊过从甚密，牵连被杀。苏武也因此丢了官职。
燕王刘旦参与谋逆，被逼自杀。其死后，嫔妃相从自杀者20多人。昭帝谥刘旦为刺王，并赦免其子。上官一族和桑氏一族更是全部被杀，只因上官皇后并不知情，又是霍光的外孙女，才得以免祸。
上官之乱平定之后，昭帝封平定叛乱有功者杜延年、燕苍、任宫、王寿为列侯，杨敞为列卿。另拜张安世为右将军，杜延年为太仆，王訢为御史大夫。
此时，朝中已经没有了霍光的敌人，所有能够和他一较高低的基本上全部在这场叛乱中被杀。
此时的霍光以大司马、大将军之职总领内朝以控制外朝百官，霍氏子弟皆为军官，实际领兵，这样，霍氏就牢牢地掌握了政权和兵权，就连昭帝本人也对霍光忌惮几分。此时霍光独揽大权之局已然最终确立。
平定外患
此时，汉朝的边境并不太平。昭帝元凤三年（前78），接到乌桓校尉奏报：“乌桓中不服管束，有作乱之心。”
乌桓是东胡人的后裔，秦末汉初之际，匈奴冒顿单于击败东胡，东胡残部逃往内蒙古及大兴安岭以东地区。后来形成乌桓和鲜卑二部。汉初时，臣服于匈奴，武帝时汉击破匈奴东部地区，将乌桓迁徙到上谷（今河北怀来东南）、渔阳（今北京密云西南）、右北平（今辽宁凌源西南）、辽东(今辽宁辽阳市)、辽西(今辽宁义县西)五郡的塞外地区，并设乌桓校尉，负责对乌桓的监护与统领。
后来乌桓势力渐渐强大，不再愿意臣服于大汉，辽东乌桓开始进犯汉朝边塞地区。正在这个时候，匈奴人因怨恨乌桓人挖掘匈奴单于墓，决定发兵报复乌桓。
霍光准确分析了当时的环境，决定趁着匈奴和乌桓作战的时机出兵乌桓，消耗其国力，遂召集群臣商议。护国都尉反对出兵道：“如今不宜出师。”
中郎将范明有不同意赵充国的意见道：“乌桓乃小国，敢侵犯大汉，如今匈奴乌桓作战，正好趁机出兵。”
范明有的意见自然得到了霍光的支持，他还有另一个身份，便是霍光的女婿。
霍光上奏昭帝，拜范明友为度辽将军，率兵两万，出兵辽东。在出征前，霍光对范明友道：“匈奴虽然请和，但是屡次侵犯我边境。你不妨声讨匈奴，匈奴退走后，便可直击乌桓。”
范明友率领着两万大军，来到塞外时，匈奴已经退兵，范明友遂率领着人马直捣乌桓。乌桓在与匈奴的交战中已然精锐尽失，哪还是范明友的对手？汉军肆意砍杀，最终斩获首级6000有余，班师回朝。
乌桓一战，消除了北方民族对大汉的潜在威胁，可谓居功甚伟。范明友因这次军功，被封为平陵侯。平乐监傅介子也因有功，受到了封赏。
傅介子是北地郡人，少年时非常好学，但是觉得读书无用，便投笔从戎，在军中屡有军功，遂逐渐受到封赏。他对西域诸国一直密切关注，当年汉武帝横扫大漠，那些国家无不俯首称臣，然而自从武帝晚年大汉转变对外政策后，楼兰、龟兹等国不再臣服于大汉，斩杀汉朝使臣，以至于大汉不能通往大宛。但是大宛对汉朝的意义重大，大宛的优良马种对大汉骑兵部队意义重大，因此绝不能失去与大宛的联系。
面对这样的情况，傅介子以骏马监的身份上书道：“臣闻楼兰、龟兹两国，叛服无常，屡次杀我大汉使节，以至朝廷不能与大宛相通，臣请出使大宛。”
霍光也常常为这件事烦恼，看到傅介子的上书非常高兴，随即下令道：“派你出使大宛，沿途到楼兰和龟兹传诏诘责。”
傅介子领命上路，最先到了楼兰。楼兰国是通往西域的交通要道，当年西汉名将赵破虏征服了楼兰和车师两国。楼兰国担心匈奴对自己不利，只好一方面归附汉朝，一方面向匈奴求和，为了表现诚意，向两方各自遣送了一名太子做人质。
武帝征和元年（前92），楼兰国王身亡，向汉朝请求放回人质，以继承王位。但是作为人质的楼兰王子触犯了刑法，被施以宫刑，自然不能放回了。匈奴只好另立其他人为国王，汉朝命令匈奴再派遣新王的王子为人质。楼兰便又派遣了两名人质分别到汉朝和匈奴。不久之后新王去世，匈奴遣送人质回到了楼兰。这名王子名叫安归，继承王位成为楼兰国国王。
在楼兰，父亲死后，儿子要娶继母为妻。安归称王后，便将继母据为妻室。继母为妻，在很多时候可以帮助安归处理一些事务。此时，汉朝使臣来到了楼兰，要求安归入汉朝朝拜。安归不知如何是好。不去，担心汉朝不满；去的话，又担心自身安危。这时候其妻对他道：“先王遣送王子为人质，至今不见归还，为何还要前往呢？”
安归觉得有道理，便拒绝了汉朝使臣，但是怕汉朝报复，便于匈奴交好，并断绝了和汉朝来往。按照匈奴的要求，帮助匈奴杀掉了汉朝使臣，这样一来，楼兰便彻底倒向了匈奴一方。
傅介子到了楼兰国后，声称楼兰无礼，将有大军前来讨伐，并对其严词诘责。安归畏惧汉朝，也自知理亏，忙向傅介子等人谢罪。傅介子见目的达到，便离开了楼兰，去往龟兹。
龟兹国王也和安归一样，向傅介子等人表示服罪。傅介子随即离开龟兹国，前往大宛。在大宛达到目的后，从大宛回到龟兹。龟兹人对傅介子等人道：“匈奴使臣从乌孙归来，正在此地。”傅介子乘机率领所带的卫队，将匈奴使臣斩杀。随即还朝。
霍光得到奏报后非常高兴，傅介子因功被任命为中郎，升为平乐监。
傅介子将沿途见到的情景报告了霍光，并对霍光道：“楼兰、龟兹等国反复无常却没有得到应该的惩罚，不足以惩戒他国。我路过龟兹时，龟兹王离我很近，我愿带人前去刺杀他，以警告诸国。”
霍光对这个计划非常满意道：“龟兹国路远，暂且去楼兰，实验此法。”
傅介子领命，招募了百余名勇士，带着非常多的金银绵帛，名义上是赏赐各国。傅介子等人又来到了楼兰国，但是楼兰国王似乎不愿接触他们。傅介子带着随从将要离去，走到楼兰西部边境后对楼兰官员道：“我等带着金银绵帛赏赐各国，如果大王不肯受赐，我等就去其他国家了。”说着向楼兰官员展示所带财物。
楼兰官员不敢怠慢，急忙将这个消息报告给了楼兰国王。楼兰王贪图财物，决定亲自接见汉朝使者。
楼兰国王安归设宴款待傅介子等人，等到酒足饭饱，众人都有了些许醉意。傅介子对安归道：“天子有密诏，请王屏去左右，接受密诏。”
安归不疑有他，便命人都出去了。傅介子突然将手中杯子砸向地面，十余名勇士闻声冲进大帐，将安归杀死。
杀死安归之后，傅介子来到门外，对楼兰群臣道：“安归有罪于汉朝，大汉天子派遣我来诛杀安归。如今安归已然伏法，汉朝大军，也已到来，如有异动，将一举灭国。安归弟尉屠耆留汉朝为人质，当为楼兰王，已由大军护送而来。”
众人闻言都不敢有异动，只好唯命是从。傅介子立即将消息传回了汉朝。霍光接到奏报后，立即转报昭帝，并将安归的首级悬挂在阙下，封傅介子为义阳侯。同时召见尉屠耆，赐予他红册金印，并送给他宫女为妻，派兵护送其回归楼兰。
从此以后，楼兰国不再背叛汉朝，傅介子完成了使命归国。
