遵化在夏、商为幽、冀之地，周初为燕地，春秋属无终国，战国燕灭无终，属燕之古北平郡。秦为右北平、渔阳二郡地。汉为徐元、俊靡二县，属右北平郡。三国魏除徐无、俊靡二县外，兼有土垠县地。晋初仍为徐无、俊靡二县，属北平郡，后俊靡并入徐无。北魏太平真君七年（公元446年）废北平郡，徐无县改属渔阳郡；北周，徐无并入无终县属渔阳郡。

隋大业三年（公元607年）废无终并入渔阳县。唐武德二年（公元619年）分渔阳复置无终县，贞观初又废，乾封初复置，属幽州；武后万岁通天二年（公元697年）为玉田县地，属营州；开元十八年（公元730年）属蓟州；天宝元年（公元742年），在今遵化境地建平州买马监（养马机构）。后唐（923—936年）在平州买马监地置遵化县（建年无考），属蓟州，遵化名称始于此。“遵化”二字据《遵化县志》记载含义是：遵循孔孟之道，教化黎民百姓。

五代后晋时，遵化属辽国，辽重熙年间（1032—1054年）于县置景州清安军，天庆十年（1120年）遵化已属于金；宋宣和五年（1123年）金国将蓟州等6个州还宋，遵化随之归宋，宋改名滦川郡，靖康元年（1126年）北宋亡于金，属金中都蓟州；元代，遵化隶属大都路蓟州；明代，遵化隶属京师顺天府蓟州；清康熙十五年（1676年），因建清东陵升为遵化州，领丰润县；乾隆八年（1743年）升为直隶州，统领玉田、丰润两县，隶属直隶布政使司，由通永道分辖。

中华民国二年（1913年）废州府，遵化改为县，隶属直隶省渤海道；民国十七年（1928年）遵化改为河北省属县；1938年2月，遵化、兴隆划属伪冀东道；抗日战争时期，县内建立起抗日民主县政权，县境一度被分成几块，分属于丰玉遵、迁遵兴、蓟遵兴等联合县；抗战胜利后，各联合县相继撤销，仍为遵化县；1948年划为冀东区行署直属县。

新中国成立后，遵化属河北省唐山专署；1983年撤唐山地区，遵化划为唐山市管县；1992年设立遵化市（县级市），唐山市代管；2005年遵化市成为扩权县（省辖县级市）。