西周：区域在周宣王之前属谢国，周宣王之后属申国。

春秋、战国：区域属楚国。

秦：未置县，区域属衡山郡。

汉：置鄳县，属江夏郡。

三国、晋：同汉制。

南北朝：宋孝建三年（456年）分鄳县地增置宝城县，同属义阳郡。南齐改宝城县为保城县，与鄳县均属北义阳郡。梁武帝时合鄳县、保城县置汝南郡。北魏分置保城县、鄳县、东随县。保城县、鄳县属齐安郡。北齐合三县置高安县，属齐安郡。

隋：开皇三年（583年）高安县并入钟山县。开皇九年（589年）将北魏时的东随县地从钟山县分出，置礼山县，属义阳郡。开皇十六年又分钟山县地置罗山县（因县治西南4公里处有小罗山—今名小龙山，故名），属义阳郡。大业末年（618年）礼山县废。

唐：武德四年（621年）于县境置南罗州，领罗山县。武德八年（625年）南罗州废，罗山县属申州。

五代：同唐制。

宋：开宝九年（976年）罗山县废。雍熙三年（986年）复置罗山县，属信阳军。

元：至元二十年（1283年）徙信阳州治于罗山县城，县治迁往西南，称罗山新县。属汝宁府信阳州。

明：洪武元年（1368年）县治复旧，仍称罗山县，属信阳州。洪武七年（1374年），改属汝宁府。成化十年（1475年）复属信阳州。

清：罗山属汝宁府。

中华民国：2年（1913年）废府、州，罗山县属豫南道。16年（1927年）废道，直属河南省。17年（1928年）河南省划为14个行政区，罗山属第七（信阳）行政区。21年（1932年）划属河南省第九行政督察区。22年（1933年）1月1日，拨县境南部的宣化店、姚家畈、丰家店、唐店、王家店、彭城店、新府、毛家集一片（569.55平方公里）归新置的湖北省礼山县（今大悟县）。

中华人民共和国：1949年3月解放，属潢川专署。

1952年11月，潢川专署与信阳专署合并，罗山属信阳专署。

1998年，信阳专署改为市，罗山县属信阳市。