夏、商为雍州之地。周为荒服之地。

春秋为赤翟、白翟之地。战国属魏上郡，后归秦。

秦统一六国后，实行郡县制，仍设为上郡，上郡辖肤施等县。

汉高祖刘邦元年（前206），项羽改上郡为翟国。汉统一全国后，沿袭秦制，汉高祖刘邦二年（前205），翟国地归汉，汉仍置上郡，治所肤施县。辖肤施等23县。新莽时，改上郡为增山，增山领上陵畴、广信、积粟、卑顺等14城。东汉实行州、郡、县制。增山复为上郡，隶并州，治所肤施。

建安十八年（213）上郡改入冀州管。三国时为曹魏并州地。晋初隶并州，永安元年（304）后，先后被匈奴、羯、氐、羌占领。东晋安帝义熙三年（407）后，该地区为大夏国占领，设吴儿城（吴儿城一说在今四十里铺附近，一说在城西25里吴儿砭一带）。

北魏实行州、郡、县制。在今县东设政和县，县西属魏平县。政和县与魏平县均属东夏州之朔方郡。

西魏的行政建置因袭北魏，因局面混乱，废设无常。废帝元年（552）在今县城设绥州、安宁郡和上县，在今县东（义合一带）设安宁县，县东南（崔家湾或河底）设安人县。绥州辖安宁郡（州治）、安政郡和抚宁郡。安宁郡辖上县（郡治）等。北周仍设绥州、安宁郡和上县。另在县东部置义良（良乡）县。绥州辖安宁郡（州治）等4郡。安宁郡辖上县（郡治）等7县。

隋初实行州、县两级行政制度，炀帝时改为郡县制。开皇三年（583）撤销安宁郡，改安人县为吉万县，保留绥州。大业元年（605）改绥州为上州，撤安宁县、吉万县、义良县，并入上县。三年（607）撤销上州设立雕阴郡（治上县）。雕阴郡领上县（郡治）等11县。大业十三年（617）梁师都称帝，今县地属梁国。

唐实行道、府（州）、县虚三级的行政制度（因道是监察区域，不是真正的一级行政区域，故称虚三级）。唐初今县地为梁师都占据，唐武德三年（620）于延州丰林县（今延安市东南）侨置绥州，六年绥州徙置延川县，七年又迁于魏平县（今子洲县南），贞观二年（628）灭梁师都，绥州迁回上县。天宝元年改上县为龙泉县。绥州隶属关内道，辖龙泉县（州治）等5县。

五代十国实行以州（府）统县的二级制。今县地仍设绥州和龙泉县（州治），但政局动荡，归属变化频繁，先后被后梁、后唐、后晋、后汉、后周占据。

北宋初设道，又改道为路，路下设府、州、军，在府、州、军下设县。宋太平兴国七年（982）今绥德县地被西夏占据。治平四年（1067）后渐次收复，熙宁二年（1069）置绥德城，隶延州。元符二年（1099）改设绥德军，隶永兴军路，辖清涧城等33个城、寨、关、堡。

金天会六年（即南宋建炎二年1128）今县地属金，仍为绥德军。大定二十二年（1182）改为绥德州，治所设在原绥德城，隶鄜延路，辖领清涧县、义合寨、开光堡、永宁关等14县、寨、堡、关。正大三年（1226）在绥德州设绥德县，升义合寨为义合县。绥德州此期领绥德、义合、清涧等8县。兴定五年（1221）蒙古族（即元）占领绥德州。

元实行行中书省（简称行省）、路、府（州）、县四级行政制度。至元四年（1267）撤销绥德县及义合县，今县地归绥德州直辖。绥德州隶延安路，辖清涧县、米脂县。

明实行承宣布政使司（习惯称行省）、府（或直隶州）、州、县四级制。今绥德县地仍为绥德州。洪武初置延绥镇（明边陲九大军事重镇之一），洪武四年（1371）设绥德卫（亦为军事机构）。延绥镇初领神木道、榆林道、靖边道以及绥德卫、庆阳卫、延安卫、东胜卫共12营堡、36城堡。绥德卫辖百户所50个。成化九年（1473）延绥镇移驻榆林。

清代的行政制度是省、道、府（直隶州、直隶厅）、县四级制。清初今县地仍为绥德州。雍正三年（1725）升为直隶州，辖米脂县、清涧县。雍正九年（1731）神木道改为分巡延绥鄜道，移驻绥德，辖延安府、绥德州和鄜州。十三年（1735）又增领吴堡县。乾隆二十五年（1760）延绥鄜道移驻榆林。

民国初设省、道、县，后设省、专署、县。

1913年废州设绥德县，隶榆林道。

1933年撤销道制，绥德县直属陕西省。

1935年8月在绥德县城设陕西省第二区行政督察专员公署，1940年2月29日绥德县解放，在县城设立绥德分区行政督察专员公署，隶属陕甘宁边区政府，

辖绥德、米脂、佳县、吴堡、清涧5县。

1944年元月，绥德分区增辖新成立的子洲县。

1948年7月，绥德分区又增辖横山县、镇川县。

1949年5月，绥德分区改属陕北行政公署（驻地延安）。

1950年5月，绥德分区行政督察专员公署改为绥德分区专员公署（绥德专区），隶属陕西省，辖绥德、米脂、佳县、吴堡、清涧、子洲、子长、延川等8县。

1956年10月，绥德专区撤销，绥德县划属榆林专区。

1958年12月，清涧、子洲、吴堡3县并归绥德县，1961年8月划出。

1969年榆林分区专员公署（榆林专区）改称榆林地区行政公署，绥德县属之，一直至今。