海瑞一生娶过三个老婆，纳过两个妾， 分别是妻子许氏、藩氏和王氏，以及小妾韩氏、邱氏。

一、老婆是海瑞的结发妻子许氏，为海瑞生了两个女儿，因为和海母不合而被海瑞休了。

二、老婆进门不到一个月，又因为相同的原因被赶出家门。

　　第三个妻子王氏进门之后为海瑞生了两个儿子和一个女儿，长子名中砥11岁时、次子名中亮9岁时均不幸殇逝。王氏虽然没有被海瑞休妻，但是却也在盛年十分可疑地暴死。

而此前，他的小妾韩氏也自杀身亡。

　　海瑞晚年又得一子，是小妾邱氏所生，不幸3岁而殇。从弟海玥的第二个男孩叫中适，论序继海瑞为子。

　　海瑞的孩子为何早夭，后世不知，不过后世流传有他逼死5岁女儿的故事。小女儿在饥饿之时，接受了一个男仆人给的一块饼，恰巧被海瑞看见， 他破口骂道：“一个好女子怎能随便地接受男人的东西呢只有你饿死了，才是我海瑞的女儿!”在此番羞辱之下，小女儿竟然铁下心绝食七天，直至死去。