衡水历史悠久。上古时代因地跨黄河，今辖区分属冀、兖二州。饶、昌、武城、武罗均系境内主要封邑方国。春秋时期多归晋 国。

战国时代为燕、赵之地。公元前221年秦始皇统一中国后属钜鹿郡。

汉代属冀州刺史部，先后设有广川国、信都国和安平国，今辖县市区多为此时建置。三国时系魏国冀州域，冀州治自邺始移信都，境内分属安平、博陵、渤海三郡。

晋代仍为冀州所辖。隋时，南部属冀州，北部属公元596年所置深州。

唐代属河北道。宋初冀州属河北东路，深州属河北西路。元初，观州治所移至县城(今景县城)，并于公元1265年复称景州。

此后直至明、清，先后为中书省、京师、直隶省所辖，境内仍由冀、深、景三州分领。

中华民国初期，各州皆改为县，直隶于省。

至1914年，今辖区分属大名道、保定道、津海道管理。1928年，直隶省改称河北省，同时废道，各县直隶于省。

1937年抗日战争爆发后，今辖区分属中国共产党领导的晋察冀边区之冀中区和晋冀鲁豫边区之冀南区。

1948年5月，两边区合并改称 华北行政区。

1949年8月1日始设衡水专区，辖原冀南、冀中两区之部分县域，包括衡水、冀县、枣强、武邑、深县、武强、清河、恩县、夏津、武城、故城、景县、阜城等13县，属新建立的河北省。

1952年11月7日衡水专区奉华北行政委员会之命撤销，其辖区之夏津、恩县、武城3县划归山东省，衡水、深县、武强、武邑、枣强、冀县6县划归石家庄专区，景县、故城、阜城3县划归沧县专区，清河县划归邢台专区。

1962年6月27日，国务院批准衡水专区复置，下辖衡水、冀县、枣强、武邑、深县、武强、饶阳、安平、故城、景县、阜城计11县。

1970年，衡水专区改称衡水地区。1982年1月，衡水镇升为衡水市。

1993年9月，冀县改建为冀州市。1994年7月，深县改建为深州市。1996年5月31日，国务院批准撤销衡水地区，改设地级衡水市，同时撤销原县级衡水市，改设桃城区。

至2000年末，衡水市下辖1区、8县和2个县级市。