远古时期，遵义一带即有人类栖息繁衍。在桐梓县岩灰洞旧石器时代人类文化遗址发现的人类牙齿化石，经科学测定，为距今20.6～24万年。桐梓县马鞍山新石器时代人类遗址中，也发掘出大量石器骨器，还有丰富的用火遗迹，年代距今为1.8万年。在赤水河流域的赤水市和习水县境内，也先后发现许多石斧、石锛、石网坠等古人类工具。

公元前8至5世纪前后的春秋时期，遵义市所辖地域，先后或分别属于牂柯、巴、蜀、鳖、鳛等邦国。战国时期，今遵义一带属于“大夜郎国”范围。

西汉元光五年（前130年），置犍为郡，郡治鳖县，即在今遵义市中心城区附近。元鼎六年（前111年），于夜郎地置牂柯郡，作为邦国存在了250多年的“夜郎国”之名从此消失。

夜郎县之名到五代时期废除，北宋时期复置，宣和二年（1120年）又废，计先后存废达480年。此后中国历史上再没有出现“夜郎”郡县之名。作为二级政区的州、郡名称，历代屡有变更。

唐贞观十三年（639年），将隋代的郎州改名为播州，领辖今黔北的大片地域。播州之名，历经五代、宋、元到明朝末叶，存在了962年。所以人们常习惯用“播州”来代称古代的遵义。

唐贞观十六年（642年），将播州所领的罗蒙县改名遵义县。这是“遵义”名称最早的出现。遵义之名沿用至今已有1364年。除县名外，历史上曾有过遵义砦、遵义军、遵义军民府、遵义府、遵义专区、遵义行政公署、遵义市等建制名称。播州从唐末到明末的725年间，为杨氏土司所世袭统治。

明万历二十八年（1600年）“平播之役”后，取消土司制度，实行“改土归流”，于次年分播州为遵义、平越两个“军民府”，分别隶属四川、贵州两省。

清康熙年间取消“军民”二字，直称遵义府。今遵义市大部分地域属于这两府，还有部分地域属于石阡府、思南府。清雍正五年（1727年），遵义府由四川省划归贵州省管辖。

民国初年，废除“府”的建制。

民国24年（1935年），贵州省设11个行政督察区，黔北十余县为第五行政督察区。

1949年11月，遵义解放，“第五行政督察区”改为遵义专区，后称遵义地区，为省政府派出机构，并以原遵义县城区为基础新建遵义市。