浮山县远古时属冀州地。

春秋属晋，战国属韩，秦属河东郡，汉为嘉陵地，北魏置葛城，北齐入擒昌，北周设郭城，隋归襄陵县，唐武德二年置浮山县，曾改名为神山县、忠孝县，已有1300多年的历史。

民国三十一年（1942年），以临浮公路为界，分为青城县和浮山县，公路北为浮山县，南为青城县。

民国三十四年（1945年），青浮合并，复称浮山县。

民国三十六年（1947年），浮山城解放，1949年县民主政府改为人民政府。

1958年，临汾、襄汾合并为临汾县，1959年11月改为浮山县至今。