老黑山镇，因位于老黑山下得名。“老黑”，满语，汉译为“刀”，因山尖如刀状得名。清代，属宁古塔副都统管辖。

1903年（清光绪二十九年），设置绥芬厅，属由义社辖区。中华民国成立后，1917年隶属东宁县第二区。东北沦陷后，1934年改为第五区，设老黑山保，1939年改设老黑山村。

1945年“九三”抗日战争胜利后，设置老黑山区，1948年10月改为第六区。

1956年5月撤区划乡，成立老黑山人民公社。

1983年进行政社分开试点，改为老黑山镇。