光山历史悠久。周为弦子封国，故称“弦”；春秋为弦国地，战国属楚；秦代辖于九江郡；西汉置西阳县；南朝宋元嘉二十五年（448年）置光城县，同年并置乐安县；隋开皇三年（583年）光城县并入乐安县。隋开皇十八年（598年）析置光山县。唐宋以后均属于光州辖县。此后一直是江淮河汉的军事、政治、经济和文化重地，有文字可考的历史4000余年。因有浮光山，“每有光耀”故名。

中华民国二年（1913年）属河南省属豫南道（1914年改豫南道为汝阳道），1928年5月河南省境划为14个行政区，属第十三行政区（潢川）辖区；1932年8月属于河南省第九区（潢川）辖区。

中华人民共和国成立后，属于河南省潢川专区辖区；1952年10月，信、潢两专署合并，属信阳专区。

1970年属信阳地区。

1998年6月9日开始，属信阳市管辖。