尚义县境，秦时为代郡北境，西汉属代郡且如县（内蒙古自治区兴和县城西北部）。

东汉为匈奴、鲜卑游牧地。

三国魏、晋为鲜卑族。

北魏为柔玄镇（治兴和县西壕堑一带）地。

东魏、北齐为怀荒镇（张北县城）地。隋为雁门郡北境。

唐为突厥、库莫奚，契丹游牧地。

五代时为契丹地。辽属西京道奉圣州，金属西京路宣德州柔远县（张北县城）。

元为威宁县（南壕堑一带）。属中书省兴和路。

明属兴和守御千户所及鞑靼诸部落牧地。

清初沿旧制，雍正二年（公元1724年）属张家口理事同知及抚民府厅，乾隆至光绪年间垦殖日众，渐成村落。

民国二年（1913年）改属张北县，民国四年（1915年）北部划属商都垦务行局，民国七年（1918年）改属商都县第二行政区。

民国二十三年（1934年）把商都县二区及三、五区各一部（今大青沟、大营盘、大苏计、哈拉沟、后石庄井公社）划出，在大青沟建尚义设治局（尚义，寓提倡礼义廉耻），民国二十五年（1936年）被日伪侵占改设治局为尚义县，1909年9月伪蒙疆政府成立，尚义属察哈尔盟（1943年）张北县西区（今县境南部、中部十一个公社）划归尚义县，伪县公属由大青沟迁至南壕堑。

1945年第一次解放，次年战略撤城，1948年二次解放，建尚义县人民政府（驻南壕堑）属察哈尔省，1952年划归河北省，1958年并入张北县，1960年划归商都县，1961年五月恢复尚义县。

1970年，张家口专区改称张家口地区，尚义属之。

1993年7月1日，张家口地区并入张家口市，尚义属张家口市所辖。