张黄镇一直称“镇”，未设过乡，始建于明朝景泰年间，起初由张氏和黄氏先祖在此设客栈卖茶、粥及其他商品，供往返于廉州湾和张黄江的旅客住宿餐饮，此后各地商人迁入，集市渐大，因地起源于张、黄二姓，“张黄”故此得名。

东汉建武十九年（43年），合浦郡治由徐闻（今广东海康）迁至合浦县张黄南部的旧州（今属泉水镇），辖境粤西、钦廉、玉林、海南岛。至南朝初期，张黄历属广州地。

南朝宋泰始七年（471年），设越州郡，立于张黄东南20公里的仰天窝，刺史为陈霸先叔伯陈伯绍。越州郡管辖东至茂名、南至今徐闻、西至灵山、北至容县之广大地域20个郡县，并一度兼理海南岛，时与广州建同为省级建制。

隋朝大业元年（605年），改越州为禄州，城治从仰天窝迁往合浦郡治原址（今泉水镇旧州村）。

唐朝贞观八年（634年），改越州为廉州，因东有大廉山，故名。

北宋太平兴国八年（983年），撤销廉州，改设太平军，治所海门镇（今廉州镇），后又复设廉州。

元朝至元十七年（1280年），廉州改为廉州路，隶属于湖广行中书省。

明朝洪武元年（1368年），改廉州路为廉州府，属广东布政司。十四年（1381年），廉州府辖钦州和合浦、灵山、石康三县。成化七年（1471年）撤销石康县并入合浦县。明朝合浦县下设典史署及高仰、永平、珠场三巡检司，全县编户30里，今张黄镇属高仰巡检司蓬莱乡。

清朝顺治元年（1644年），廉州府辖钦州和合浦、灵山二县，隶属广东行省。道光八年（1828年），合浦县分为十六团四十八局，张黄镇属联安团，管辖安石、马兰。光绪十四年（1888年），设防城县，钦州升为直隶州，廉州府辖合浦、灵山二县，期间在张黄镇建立上八团学堂。光绪三十二年（1906年），合浦县属廉钦道廉州府。宣统三年（1911年），廉钦道改称钦廉军政府，驻廉州镇。清朝合浦县依循明制，高仰巡检司驻张黄镇，管辖大乡十四个。

民国元年（1912年），撤销廉州府，合浦直属钦廉军政分府，同年改为钦廉绥靖处，三年撤绥靖处，复置钦廉道，九年撤钦廉道，合浦县直属广东省。合浦县有十六个区五十二个局（乡），张黄镇属联安区。十八年（公元1929年），张黄镇被划为张黄东镇、张黄西镇两大镇。十九年至二十五年，合浦县先后属广东省南区绥靖公署、第八区行政督察专员公署。二十二年，张黄镇属合浦县第三十四区。三十二年，合浦县第四区署驻张黄镇，管辖常乐、安石、龙门、白石水、北塞（通）、旧州、石埇七个乡。

建国后，1949年合浦县隶属广东省南路专区，1950年改属广东省钦廉专区，1951年改属广东省钦州专区，张黄镇属合浦县第十四区，同年12月在张黄镇设立“合浦县人民政府中北区政府”。

1952年合浦县北部析置浦北县，张黄镇属浦北县第四区，与钦廉四属同划入广西省代管。

1955年钦州专区划归广东省，改称合浦专区。

1958年撤销合浦专区，浦北县、北海市并归合浦县，并入湛江专区。

1958年11月，撤销乡、镇建制，改设人民公社，合浦县东方红公社驻张黄镇，管辖张黄、白石水、大成、泉水、国营东方农场。

1961年改设区、社建制，合浦县张黄区管辖张黄、白石水、泉水、江平、安石、石埇、大成。

1965年7月，把合浦县北部复设浦北县，张黄镇隶属于浦北县，与钦廉四属划入广西壮族自治区至今。

张黄镇现辖2个居委会、1个工管委，下辖23个村委会、470个村民小组，鸡冠村、阳春村、新桥村、山冲村、元坝村、江背村、邓平村、大村村、六罗村、大坡村、普林村、福山村、江平村、马屋村、长岭村、木根村、大平村、合山村、米埠村、学堂村、洋水村、十字村、罗家村。