群山市在百济时代由马西良县、夫弗里县和临陂郡等3个村落组成，新罗王朝--高丽王朝称沃沟县、浍尾县和临陂县，朝鲜王朝末年（1895年）称沃沟郡及临陂郡。1899年5月1日群山开埠后，各种工业逐渐发展了起来，开始出现了近代城市萌芽。

1914年，群山地区分离为群山府和沃沟郡2部分，1949年群山府改称群山市。

1995年1月1日，群山市和沃沟郡重新合并在一起，称群山市。