秦汉时期，县境大部属豲道，洛门镇以东属冀县。

东汉中平五年（188年），析襄武、豲道地置新兴县，址设今县城西15公里

新兴川（今广武坡西颉家门一带），属南安郡。

三国魏更名武城县，不久即废，复名新兴县。置中陶县，故址在今鸳鸯镇附近。

东晋十六国时期，为前赵、后赵、前凉、前秦、后秦、西秦、大夏等北方七国先后争占，历时百余年。

北魏太平真君八年（447年），中陶并入新兴，隶渭州广宁郡。隋开皇十年（590），新兴并入陇西县，隶陇西郡。

唐代宗宝应二年（763年），县境沦于吐蕃，历时78年。咸通七年（866年）收复，属陇右道渭州。

五代时期，县域为羁縻地（授予归附的吐蕃族居住），历53年。

北宋真宗天禧三年（1019年），在今县城北建宁远寨，属秦凤路秦州。熙宁五年（1072年），以古渭寨地（今陇西）建通远军，宁远寨属通远军。徽宗崇宁三年（1104年），升宁远寨为宁远县，属巩昌路巩州。

金天会九年（1131年）正月，宁远陷金。泰和七年（1207年）又降为宁远寨，属临洮路通远军。金天兴三年、南宋端平六年、蒙古汗国太宗六年（1234），宋蒙联军灭金，宁远寨归属蒙古汗国。

元世祖至元十六年（1279），复置宁远县，隶属巩昌路巩州。

明、清沿袭宁远县制，属巩昌府，县域包括现有地域和马坞、新寺两镇。清代末年，马坞划归岷县。

民国二年（1913年），因与湖南省宁远县重名，北洋军阀政府内务部决定更名武山县，属渭川道。

民国十七年（1928年）7月废道，设渭川行政区，不久即撤销。

民国二十三年（1934年）设天水行政督察区，辖武山等15县；民国二十四年（1935年）7月，改甘肃第四行政督察区，武山属之。

民国二十九年（1940年）4月，县西边境骆家沟、骆家镇、牟家窑、川口下、川口岘、何家坡、淡家沟、蔡家坪、黄家里、伍家山、瓦窑下、柳树沟、石板上、铨庄下、单道下、丁家咀上、桦林河17村及插入漳县的王家坪、爷池下、新咀里3村划归漳县，漳县插入武山境内的徐家门划归武山。

民国三十一年（1942年），漳县孙家门划归武山。

民国三十五年（1946年）8月，调整武山、甘谷石庙儿附近的插花飞地。由石庙儿沿洮天公路至张家山堡东西棱线至贾家沟，东属甘谷县，西属武山县；由石庙儿起，沿洮天公路顺李家坪左侧山梁至管家沟东下，北折高家山堡直到甄家山一线，东属甘谷，西属武山。

中华人民共和国成立后，沿用武山县名，属甘肃省天水分区督察专员公署。

1951年4月，属天水区。

1953年，县东边界划出米家庄归甘谷县，划甘谷县属管家沟、台子上、吴庄、多家湾、张家沟、彭家坡5村归武山县。县西边界划出当中岭、徐家门、李家河、赵家坪、东家屲、景家屲、宋家沟9村归漳县。

1955年2月，属天水专区。

1969年10月，属天水地区。

1958年4月、12月漳县、甘谷两县先后并入武山，县境总面积达5368平方公里。

1961年12月，三县分置，恢复原武山县域。

1985年7月，属天水市。