夏、商时期，平舆为挚国，为古诸侯国之一，国君任姓，古城在今西塔寺，周朝时并入沈子国。因周文王之母太任归省家书中有“平舆”抵达（即坐车平安回到娘家）字样而得名。

周朝，周公之孙始封于沈，建立沈子国，古城在今射桥乡古城村，公元前506年为蔡所灭。

战国时期，沈地属楚，为平舆邑。

秦朝，置平舆县，治所在今平舆北射桥乡古城村。

汉朝，平舆县属汝南郡。

三国时期，平舆县属魏，豫州汝南郡。

晋朝，平舆县属豫州汝南郡。

南北朝，废平舆县。

北魏，复置，治所在今平舆县城西南。

北齐，废。

隋朝，大业二年（606）复置平舆县，属豫州。

唐朝，贞观元年（627）废县，辖地并入新蔡县。

武周天授二年（691）复置，治所在今平舆县城，属河南道蔡州。

五代时期，属蔡州。

北宋，属京西北路蔡州。

金国时期，属南京路蔡州镇南军。

元朝，废县，辖地并入汝阳县，属河南江北道汝宁府。

明、清时期，属河南布政使司汝宁府

汝阳县。

民国时期，属河南省第八区汝南县。

1951年4月，复置平舆县，属信阳专区。

1965年，信阳、驻马店分为两个专区，平舆县属驻马店专区。