唐高祖武德八年（公元625年）设雄石镇，并派兵驻守。

唐末朝廷派中丞将倪亚任镇遏史，后因其剿匪有功封为倪亚王，古镇也因此改为倪亚市。

北宋崇宁四年（公元1105年），宋徽宗命江东漕臣将上清观从龙虎山迁放上清，又将倪亚市改为上清市。

清乾隆三十年（公元1748年），始称上清镇。

明初，上清镇即形成这于今日的规模。至明代后期，上清古镇已相当繁荣，《徐霞客游记》称上清街“甚长”。

晚清咸丰年间（公元1851－1861年），太平军和清军曾在上清激战，镇内建筑损毁严重。直至民国年间大体修复，其面貌一直保持到八十年代。