到了元狩二年（公元前121年）春天，就是霍去病上次初露锋芒的两年后，汉武帝又一次开始对匈奴的进攻。这次出塞前，汉武帝封霍去病为霍去病为骠骑将军，品秩与大将军相等。其实在上次作战中霍去病的骑兵损失也不小，但是由于是那次作战没有什么功劳，还有本来是投降汉朝的匈奴人翕侯赵信又复降了匈奴，汉武帝为了鼓舞士气，要找一个英雄出来，霍去病在这次立了功，同时又是汉武帝宠信的外甥，这个英雄非他没属。
而这次出塞，汉武帝的目的应该是检验一下霍去病的大兵团作战能力，所以给了霍去病一万骑兵，出陇西，从处于守势的西北出发，面对次一级的右贤王部队，除了出其不意以外，也希望霍去病在这里锻炼自己的军事才能。
这次出塞作战，霍去病发挥了骑兵的高机动性，转战六天，越过焉支山一千余里，经过五个匈奴的部落，与敌人短兵相接，杀死了折兰王，砍掉卢胡王的头，诛杀全副武装的敌兵，抓获了浑邪王的儿子及匈奴相国、都尉，歼敌八千余人，缴获了休屠王的祭天金人。
在这次战役后不久，在这年的夏天，骠骑将军又一次领军出征，这次进攻中没有卫青的身影，又是四将军出塞，好象是元光五年的翻版，估计汉武帝是希望霍去病在这次出征中和他的舅舅卫青一样，能建立功勋，在军中树立起权威。
这次出塞的四位将军是骠骑将军霍去病与合骑侯公孙敖都从北地出兵，分道进军；博望侯张骞、郎中令李广都从右北平出兵，分道进军。在东北汉武帝出动了一万四千人，由李广和张骞率领，从汉武帝的意图来看，这次东北的作战是一次战略牵制，是为了西北的出击，目的是全力打击匈奴在西北的右贤王集团，以达到通西域的战略目的。
在西北作战中，合骑侯公孙敖没有能和霍去病会合，只有霍去病自己率领骑兵越过居延泽，经过小月氏，攻到祁连山，俘虏酋涂王，率众投降的有二千五百人，杀敌三万零二百人，俘获五个匈奴小王、五个匈奴小王的母亲、单于的妻子、匈奴王子五十九个，还俘获匈奴相国、将军、当户、都尉等共六十三人，获得了很大的胜利。同时在这次战役中霍去病的指挥日臻成熟，汉军的损失只有十分之三左右，不像上两次有接近一半的损失。
在这次战役中，霍去病的部下有赵破奴、高不识、仆多三人封侯，随霍去病到达小月氏的校尉们都被封为左庶长的爵位，霍去病的军中班底开始形成。
元狩二年（公元前121年）是一个多事之年，在这年秋天又发生了令人拍案叫绝的事情。匈奴的单于由于西方的浑邪王屡次被骠骑将军率领的汉军打败，损失几万人而大怒，想召来浑邪王，把他杀死。在匈奴的制度中，是以左为尊，左贤王一般都是太子兼任，左贤王集团也要比右贤王集团兵力精锐，对于右贤王的关照本来就没有左贤王集团多，再加上由于这一年中浑邪王屡次被骠骑将军击败，所以本来就地位不太高的右贤王集团的浑邪王被单于盯上了，估计是要作为一个典型案件来处理，振作一下军心士气，估计是消息不机密，所以被浑邪王知道了，于是浑邪王和休屠王等想投降汉朝，就先派人到边境迎住汉人。这时，大行李息率兵在黄河岸边筑城，见到浑邪王的使者，立即就命令传车急驰而归，向皇帝报告。皇上听过汇报后，怕浑邪王用诈降的办法偷袭边境，于是就命令骠骑将军领兵前去迎接浑邪王和休屠王。骠骑将军已经渡过黄河，与浑邪王的部队相互远望着。
这时浑邪王的部队中的副将们看到汉朝军队，又听说是霍去病领兵的部队，估计是前一段时间被霍去病打怕了，再加上本来对投降汉朝没什么想法，于是很多人就开始逃跑，这时霍去病的气势表现出来，一般的情况下，在当时匈奴人一片混乱、情况不明，霍去病完全可以任由匈奴人自行内乱，不必自己冒险到一堆炸了窝的匈奴人中去犯险，因为被匈奴乱兵杀死或俘虏的机率很大，而霍去病竟然大胆地冲入匈奴军中，不伤己方一人却杀死哗变的8000匈奴人，再降伏了余下四万人。少年英雄的胆识可见一斑，他当时应该是像战神一样威武，这个形象刻在了匈奴人的心中，也刻在了中国历史的画卷上。
在杀死哗变的匈奴人之后，霍去病命浑邪王一个人乘着传车，先到皇帝的行在所，然后由他领着浑邪王的全部军队渡过黄河，投降者有几万人，号称十万。他们到达长安后，天子用来赏赐的钱就有几十万。划定一万户封浑邪王为漯阴侯。封他的小王呼毒尼为下摩侯，鹰庇为？渠侯，禽梨为河綦侯，大当户铜离为常乐侯。
从此，河西走廊成为汉朝的领土，不久汉朝在河西地区设立了武威、张掖、酒泉、敦煌四郡，汉与西域之间的交通，从此畅通无阻。不仅如此，在这次河西战役之后，汉朝在西北方向的压力大减，减少了陇西、北地、上郡戍守之兵的一半，从此汉朝摆脱了两线作战的形式，可以专一对付东北的匈奴左贤王部和单于本部。
在这次战役后，还有一个关于霍去病的传说流传了下来，霍去病河西立下大功，汉武帝特派使臣载了美酒到前线去慰问他。霍去病对使臣说：谢谢皇上的奖赏。但重创匈奴不是我一人的功劳，功劳归于全体将士。命令将御赐美酒抬出犒劳部下。但酒少人多，怎么办？霍去病吩咐手下，将两坛美酒倒入营帐所在的山泉中，整个山谷顿时酒香弥漫，全体将士纷纷畅饮掺酒的山泉，欢声雷动。这就是“酒泉”的来历。不管这是传说还是史实，千年之后我们读到这个故事，还是会有一种荡气回肠的感觉，一位英勇却浪漫的少年将军的形象在我们面前栩栩如生。
河西战役结束后，霍去病又被汉武帝封赏，划定一千七百户增封骠骑将军。这位少年将军只休息了一年多，又一场战役在等待着霍去病，这就是赫赫有名的漠北战役。
在元狩四年（前119），由于复降匈奴的翕侯赵信替匈奴单于出谋画策，认为汉朝军队不能越过沙漠轻易留在那里，于是汉武帝命令大将军卫青、骠骑将军霍去病各率五万骑兵，几十万步兵和转运物资的人跟随其后，骠骑将军从代郡出兵，大将军卫青从定襄出兵。在霍去病的军中都是敢于奋力战斗和勇于深入的士兵，而且为了让霍去病统一指挥，没有让老将军跟随霍去病，而是任用李敢等人做大校，充当副将，完全是年轻人的天下，而大部分老将都在卫青麾下。唯一在霍去病麾下的老将是右北平太守路博德，但也是偏师。