克山镇，清初称“察霍勒屯”。察霍勒，蒙古语“水鹳鸟”之意。因其东南隅有一大水泡子，周围水草肥美，水鹳 鸟群集，故名。

设置驿站，为“布海（布特哈——海伦）官道”第三站，故又称“三站”。

“克山”之称，始于中华民国初年，设立克山设治局时，取境内克尔克图山（二克山）命名“克山设治局”，镇名　因袭县名。

清初，克山一带为鄂伦春、鄂温克、达斡尔等游牧民族的狩猎区，归布特哈总管管辖。

，1906年（清光绪三十二年），隶属东布特哈总管管辖。

1909年（清宣统元年），“布海官道”修竣后，在今克山镇设第三站，翌年改隶讷河直隶厅管辖，由于居民增　多，工商业逐渐兴起。

中华民国成立后，1913年讷河县于此设置察霍镇。

1914年丈放街基，规划为长、宽各“三里三”的正方形街基。

1915年3月，划归克山设治局，同年8月改隶克山县，遂为县城。

1922年修筑城墙，周长6.6公里，城外挖有护城壕。

1929年全县划分为5个大区，属第一区境内。

东北沦陷后，1933年设县城保，1938年改设克山街。

1945年“九三”抗日战争胜利后，1946年将克山街划为第一区、第二区和城郊区。

1948年8月，将县城内第一区与第二区合并为城关区，1952年改为第一区。

1955年5月，改为城关镇，同年10月改为克山镇。

1958年9月，改称克山镇人民公社。

1980年恢复克山镇名称。