春秋战国时期属鄨国，附属于夜郎。

秦统一中国后，推行郡县制，秦始皇二十七年（公元前220年），置鄨县。直至南北朝时均在境内，先后属犍为郡、牂牁郡、平夷郡、平蛮郡。

唐贞观十三年（公元639年），置播州，属江南道。唐贞观十六年（642年），播州所辖罗蒙县改名遵义县。今地在播州所辖带水县境内，五代时期先后属前蜀、后蜀、楚、后周等国。唐乾符三年（876年），杨端率部在今城南10千米白锦堡建立世袭统治。

北宋大观二年（1108年），杨氏家族内讧，杨光荣、杨文献叔侄献地归顺朝廷，宋廷令建播州与遵义军，今地属播州。宣和三年（1121年），废播州，置播州城，隶属南平军；六年（1124年），改播州城为播川县。

南宋淳熙三年（1176年），杨氏第十二代统治者杨轸将其治所从白锦堡迁穆家川（今老城），开始修建遵义老城，为今红花岗区建城之始。南宋嘉熙三年（1239年），设播州沿边安抚司，属夔州路，今地驻安抚司治所。

元至元十八年（1281年），播州安抚司升为播州宣慰司。至元二十一年（1284年），改隶湖广行省顺元路宣抚司。至元二十六年（1289年），升为播南路，不久，恢复军民安抚司。至元二十八年（1291年），播州改隶四川行省。至元二十九年（1292年），中书省奏准，播州仍隶湖广行省。

明洪武五年（1372年），播州归顺明廷，隶四川。第二年由宣慰司升为宣慰使司，下辖安抚司、长官司，今地属播州长官司。明万历二十八年（1600年），明廷派兵剿灭杨氏土司政权，实行“改土归流”，恢复中央朝廷直接委派官员的流官制度。明万历二十九年（1601年），设置遵义军民府，隶四川布政司，下辖播州长官司改置遵义县。万历三十九年（1611年），置威远卫指挥使司，隶四川都指挥使司。今地属遵义县，为府、县治所驻地。

清康熙二十六年（1687年），裁去威远卫，改遵义军民府为遵义府。雍正六年（1728年），遵义县随遵义府由四川省改隶贵州省。

民国三年（1914年），废府存县，隶黔中道。

民国九年（1920年），废黔中道，遵义县直属省。

民国十六年（1927年），改县公署为县政府。

民国二十四年（1935年），贵州省建立十一个行政督察区，遵义县属第五行政督察区。

1949年11月25日遵义解放后，于遵义县城区建立遵义市。

1951年，撤销遵义市，原辖地改为遵义县城关区。

1952年，恢复遵义市。

1955年，专区辖市改为省辖市。

1958年，遵义市划归遵义专区管理；撤销遵义县，并入遵义市。

1961年，并入遵义市的遵义县分出，恢复市、县分置。