霍去病生为奴子，长于绮罗，却从来不曾沉溺于富贵豪华，他将国家安危和建功立业放在一切之前。汉武帝曾经为霍去病修建过一座豪华的府第，霍去病却断然拒绝，说：“匈奴未灭，何以家为？”

霍去病是霍仲孺的私生子。其父未曾尽过一天当父亲的责任，但霍去病长大后，知道了父亲的事，有次任骠骑将军出征时顺道到了平阳（今山西临汾），霍去病便命下属将霍仲孺请到休息的旅舍，跪拜道：“去病早先不知道自己是大人（大人：汉唐时指父亲）之子。”

霍仲孺愧不敢应，匍匐叩头说：“老臣得托将军，此天力也。”随后，霍去病为霍仲孺置办田宅奴婢，并在领军归来后将同父异母的弟弟霍光带到长安栽培成材。

褚少孙在《史记》卷二十建元以来侯者年表第八中补记：“光未死时上书曰：臣兄骠骑将军去病从军有功，病死，赐谥景桓侯，绝无后，臣光愿以所封东武阳邑三千五百户分与山。”

这是历代史书中对霍去病死因的唯一记载。

也有说是在漠北之战中匈奴人将病死的牛羊等牲口埋在水源中祭祀诅咒汉军，因此水源区产生了瘟疫。而霍去病在此处饮食了带有病菌的水，而后病倒。

但也有一些专业人士提出，霍去病死于漠北之战两年后，不符合瘟疫的发病时间。当然两千年前的医疗水平有限，数次领兵出征的劳累，长时间处于艰苦的环境，也足以对霍去病的身体造成不可治愈的伤病。