菏泽以前部分地区属于河南。

据史书记载，早在四千年以前的新石器时代，先民就在菏泽市境内繁衍生息。唐代，境内属河南道。1952年11月，平原省撤销，菏泽、湖西专区归属山东省。

原菏泽专区所辖的东明县划归河南省郑州专区。

1959年9月，菏泽专区恢复，仍领原8县。1960年10月，改菏泽县为菏泽市，同时将济南市的平阴县划归菏泽专区。

1961年3月，平阴县划归泰安专区。

10月，恢复定陶县。1963年3月16日，改菏泽市为菏泽县。4月，东明县由河南省开封专区划归菏泽专区。同年底，菏泽专区共辖10县：菏泽、曹县、定陶、成武、单县、巨野、梁山、郓城、鄄城、东明。

1967年3月改菏泽专区为菏泽地区。

1983年9月，菏泽县再次改为菏泽市（县级）。1989年12月22日，梁山县划归济宁市。2000年6月10日，经国务院批准，改菏泽地区为菏泽市（地级），原菏泽市（县级）更名为牡丹区。