1970年隶属褚墩公社，1971年建黄山公社，1984年改建黄山乡，1994年撤乡设黄山镇。

1996年，面积48平方千米，人口4.5万人，辖木柞一、二、三、四，蒋一、二和黄山、后黄山、谢官庄、蝎子山、老屯、东蔡村、西蔡村、中蔡村、李官庄、舒官庄、山前、山崖、山西、麻湖、武村、柴口、栗林、安头、丁东、丁西、丁南、桃园、柳行、大圩子、后圩子、上圩子、凤凰庄33个行政村。

2011年，将郯城县黄山镇整建制划归罗庄区管辖。辖李官庄、舒官庄、山西、文曲山（山崖、山前、中村）、蝎子山、西蔡村、双合村（麻湖、武村）、栗林、东蔡村、谢官庄、老屯、前黄山、后黄山、柳行、丰山村（丰大、丰后、丰上）、凤凰庄、蒋史汪一、蒋史汪二（蒋二片、蒋三片、蒋四片）、菊花屯（丁东、丁西、丁南）、桃园、安头、柴口、木柞一、木柞二、木柞三、木柞四26个行政村。