张维镇名取自于人名。张维为清代晚期“捐生拔贡”，取得今张维镇一带的土地放荒权力，一时名声大振，立屯后便以“张维”命名。中华民国时期，属绥化县管辖。东北沦陷后，初设张维保，1939年改设张维村。

1945年“九三”抗日战争胜利后，设置张维区。

1951年12月，设置张维镇（村级），隶属第十区。

1956年4月，并村划乡，设置团结乡。

1958年8月，将三井、新生、联合、团结4乡合并，成立团结人民公社。

1961年划分为团结、新生、联合、三井4个公社。

1981年5月地名普查时，因与本地区内公社重名，将团结公社更名为张维公社。

1984年3月，改为张维乡。同年12月，改为张维镇。