黄山区境，秦汉时期先后属会稽郡、鄣郡、广陵国辖地。

两晋南北朝时期，属扬州新安郡。

隋唐时期，属歙州和江南道。天宝四年（745年），设立太平县，属宣城郡；永泰二年（766年），撤销太平县，并入泾县。

明清时期，属徽州府。

1983年12月，撤销太平县，设立县级黄山市，以原太平县、歙县的黄山公社、石台县的广阳公社的行政区域和黄山管理局辖区为黄山市行政区域，由安徽省直接管辖。

1987年11月，撤销屯溪市、黄山市，设立黄山市（地级）；设立黄山市黄山区，以原黄山市为其行政区域。