现在的衡水市是在衡水专区的基础上，历经1952年专区撤销、1962年专区恢复、1967年专区改称地区、1996年撤地建市等多次演变而成的。
1937年七七事变后，日本侵略者很快占领华北各地，国民党政权纷纷南撤。以中国共产党领导的八路军按照第二次国共合作协议，深入到敌后，开辟抗日根据地。八路军129师东进纵队和120师一部分别开辟了冀南、冀中抗日根据地，并于1938年上半年建立了冀南区、冀中区党委、行署和军区等党政军组织。现在衡水所辖11个县市区在当时就分属冀南和冀中区，其中南部的桃城区（衡水县）、冀州市、枣强县、武邑县、故城县、景县、阜城县等县市区属于冀南区。北部的深州市、武强县、饶阳县、安平县等县市属于冀中区。
1938年８月１日，中共冀鲁豫边区省委第五特别区委员会成立，辖衡水、武邑、枣强、故城、景县、阜城和东光河西特区等党组织。８月１９日，冀鲁豫边区省委撤销，中共冀南区委员会成立，五特委改称中共冀南区五地委。8月20日，冀南三专署在武邑县成立，辖区与五地委相同，机关驻武邑县城西街。这是衡水境内成立的第一个地级政权组织。冀南三专署于1940年8月改称冀南五专署。
1941年11月，冀南区第六地方委员会成立，辖冀县、枣南、故城、武城、清河5县县委，并代管运东地方分委下辖的高唐、恩县、夏津、平原4县党组织。同时，冀南六专署在枣强南部成立，辖区与六地委相同。1945年11月，冀南六专署改为冀南二专署，其下辖的冀县、枣南划归五专署，故城县仍属冀南二专署领导。
从衡水市现辖的11个县市区中，有7个曾先后属冀南五地委和五专署领导，所以人们习惯上将五专署作为衡水专区的前身。
衡水北部的深县、武强、安平、饶阳等县先后分属冀中区不同专署领导。
抗战期间，衡水军民与日本侵略者进行了艰苦卓绝的斗争，对日作战共计1688次，攻克日伪据点431个。击毙日军699人、伪军12052人，俘日军489人、伪军18825人。缴获各种枪支22626支，炮117门。同时，衡水军民也付出了巨大的代价，为民族解放而捐躯的烈士11847名。
从抗战胜利到衡水专区成立，衡水各级政权一直掌握在中国共产党领导的人民手中。在整个解放战争期间，衡水地区始终是巩固的解放区。衡水党政军组织领导衡水人民，大力发展经济和文化事业，全力支援解放战争。先后有2万多人参军，5万多民工随军出征，抬担架、送弹药、运军粮，近3000名干部南下、北上到新解放区开辟工作，支援前线的粮食、被服等物资更是难以计数。
1949年8月1日，河北省人民政府成立。8月8日，以原冀南五专区、二专区为基础建立衡水专区，衡水地委和衡水专署也正式成立。衡水地委辖原冀南五地委的衡水、冀县、枣强、武邑、景县、阜城6县，冀南二地委的故城、武城、清河、夏津、恩县5县，以及冀中十一地委的深县、武强两县，共13个县委（衡水现辖区的饶阳、安平两县，当时属定县专区）。从此，衡水人民在中国共产党的领导下，掀开了社会主义革命和建设的新篇章。
－－摘自衡水市委党史研究室出版的《永恒的历史（第一卷）》