海林市历史悠久。旧石器时代晚期，已有人类生息繁衍，在辖区内发现了多处原始社会时期的遗址和遗物点，出土了数量可观的打制石器和磨制石器。商周时代，海林县是满族先民肃慎人的重要活动地域之一。海林地区当属满族的主要发祥地之一。汉晋时代，海林县挹娄管辖。南北朝时代，则归勿吉管辖。隋唐时代属靺鞨，武则天圣历元年（698年）靺鞨人建立震国，海林地区属震国管辖。开元元年（713年）震国改称渤海国，海林地区属上京龙泉府，归唐忽汗洲管辖。辽代初期归东丹国，后归博罗满达勒部生女真南境。

金代初期属东京，后划归会宁府南境，再划归率宾府。元初属南京万户府，后归合兰府硕达勒达路呼尔哈军民万户府南境。明代初期归努尔干都指挥司统辖，万历年间改为窝集部宁古塔。清顺治十年（1653年），设宁古塔昂邦章京，后改镇守宁古塔等处将军府，驻地即为现在的海林县旧街乡。宁古塔搬迁后，全境归属设在宁古塔新城（今宁安）的军政机构管辖，直至清朝灭亡。

民国初期和东北沦陷时期，全境隶属宁安县。

1945年8月解放。

1946年9月，成立新海县。

1948年，新海县与五林县合并成立海林县。

1956年3月，撤销海林县建制，辖境分别划属宁安、林口县和牡丹江市郊区。

1962年10月，恢复海林县，隶属牡丹江专员公署。

1983年10月，划为牡丹江市辖县。