公元前286年前时属宋国。

秦昭襄王二十一年（公元前286年），齐国灭宋国，改属齐国。

秦昭襄王二十七年（公元前280年）燕国乐毅率燕、秦、赵、魏、韩五国联军攻齐，齐国战败原宋国领土归属魏国。

秦始皇二十二年（前225年），灭魏国，置砀郡（治砀县，今永城市芒山镇），为三十六郡之一，在县境设下邑县。

汉王元年（前206年）四月，今县境仍设下邑县（治今县城东毛李庄），属项羽西楚国（都彭城，今徐州市）砀郡（治砀县，今永城市芒山镇）。

汉高祖五年（前202年）正月，砀郡改属彭越的梁国（国都为定陶）。六年春，随砀郡归汉。十一年三月丙寅，随砀郡改属刘恢梁（都睢阳，今商丘南）。高后七年（前181年）二月，改属吕产的吕国。八年八月，改属梁国。后九月，砀郡归汉。汉文帝前元二年（前178年）二月乙卯，砀郡改属刘楫梁国。十二年，复为刘武梁国（都睢阳，今商丘南）。元封五年（前106年）四月，梁国改属豫州刺史部。

新莽时（9年），改梁国为陈定郡，砀县改为“节砀县“（今永城市芒山镇），改下邑县为“下治县“（今砀山县城东），仍属豫州刺史部。

东汉章帝建初四年（79年），复砀郡（仍治砀城，今永城市芒山镇），下邑县改名夏邑县（仍治下邑故城，今砀山县城东），属豫州（治谯，今亳州市）。建初四年（79年），梁国迁都下邑故城（今砀山县城东），夏邑县属之。三国（魏）革梁国，属徐州。

三国延康元年（220年）十月，曹魏代汉，今县境仍设夏邑县（治今砀山县城东），属豫州（初治谯，后多次移治）梁郡（治夏邑，今砀山县东1公里毛李庄）。青龙四年（236年），夏邑县（治砀山县东）兼梁国国都。

晋武帝泰始元年（265年），复梁国，砀县并入下邑县（治今砀山县城东）。

南北朝宋时，复置砀县（治今永城市芒山镇），南齐（479年）废。

北魏孝昌元年（525年）夏邑县移治今河南夏邑；二年（526年），置砀郡、砀县。砀郡治所在原下邑城（今砀山县城东），砀县治所鲁城（今永城市芒山镇）。北齐（555年）废砀郡、砀县，置安阳县（治今永城市芒山镇）。

隋开皇十八年（598年），改安阳县为砀山县（治今永城市芒山镇），隋大业六年（610年）割彭城、瞧阳二郡之地置永城县，原砀山县城（今芒山镇）划归永城，砀山县治所迁至今砀山县城东，芒砀山以北为砀山县辖区。

唐，砀山县（治今砀山县城东）属瞧阳郡。光化二年（899年），朱全忠以砀山、单父、虞城、曹州之成武，表置辉州。后唐砀山县属单州。

宋，砀山县（治今砀山县城）属单州。

金兴定元年（1217年），砀山县改属归德府（今河南省商丘市）。兴定五年升永城县为永州，辖下邑、砀山、酂三县，芒砀山一带属砀山县（治今砀山县城）辖 ，宋理宗绍定年间（1228—1233年）砀山县（治今砀山县城东）为洪水荡没，迁治所至芒砀山南麓保安镇（今芒山镇柿园村）。

元宪宗七年（1257年），复置砀山县（治今砀山县城东），还旧地属东平路。元至元二年（1265年），降永州为永城县，芒砀山一带再属永城县。是年，砀山县并入单父县，至元三年，复置砀山县（治今砀山县城东），属济州，八年，属济宁路。

明洪武四年（1371年），砀山县随徐州改属中书省。六年九月，改临濠府为中立府（治中立县，由钟离县改）。七年八月，中立府改为凤阳府（治临淮县，由中立县改）。八年十月，凤阳府徙治凤阳县（今府城镇）。十三年正月，凤阳府直隶六部。十四年十一月，砀山县改属直隶六部徐州直隶州。永乐元年（1403年），直隶徐州直隶南京（今南京市），后改为南直隶，又称直隶南京（仍治今南京市）。嘉靖四十一年（1562年）水患，迁砀山县治于小神集（今砀山县城关镇东南陈寨北门外小神集）。四十四年，复旧治（今砀山县东毛李庄）。万历二十六年（1598年）改治旧城西1公里秦家堂（今城关镇），二十八年竣工，为夯土砖堞城垣。

清雍正八年（1730年）升徐州为府，砀山县属徐州府。

民国元年（1912年）砀山县属江苏省徐海道；民国22年属江苏行政督察铜山区；民国24年属江苏省行政督察第九区。

民国27年5月，日军陷徐州。5月25日，陷砀城，日伪以徐州为中心的苏皖边区的1个市21个县作为特区直接控制。7月，日伪“砀山县维持会“成立。次年，成立伪“县政府“。31年1月15日，改属汪伪“苏淮特别行政区公署“（驻今徐州市）。33年1月13日，改属“淮海省“（仍驻徐州市）“第三专区“（驻砀山县），辖砀山、萧县、丰县3个县。34年8月15日，日本宣布无条件投降。9月5日，国民党接管汪伪砀山县。

民国34年8月12日，中国人民解放军七纵五十八、五十九团在砀山县（砀北）大队配合下解放砀山县城。8月13日，离砀。8月16日，砀山县政府撤至砀北县陈集、贾庄一带；雪枫县（永城）政府北撤至单县、成武县。不久，雪枫县返回砀南地区。9月，砀山（砀北）、华山、单虞3个县撤至单县、成武、巨野县一带。11月，改设华砀县，并于年底返回至砀山县西北吴溜，蔡堂两区地带。36年7月，复建华山、砀山县，属豫皖苏解放区三专区。12月2日，恢复砀南县人民政府，属三专区。

民国45年11月，砀山县属豫皖苏三分区所辖；1949年元月，属中原行政区商丘专署所辖；1949年10月，属皖北人民行政公署宿县专署。

1949年10月1日建国，砀山县仍属皖北人民行政公署宿县专区。

1950年2月，砀山县民主政府改称砀山县人民政府。

1952年11月15日，砀山县划归江苏省。

1953年3月6日，砀山县改属江苏省徐州专区（驻徐州市）。

1955年2月21日，将砀山县划入安徽省宿县专区。

1956年1月12日，撤销宿县专区，砀山县改属蚌埠专区。1月，砀山县人民政府改称砀山县人民委员会。

1959年3月22日，撤销萧县、砀山县，组建萧砀县，属蚌埠专区。

1961年4月7日，萧砀县改属宿县专区。12月15日，撤销萧砀县，恢复砀山县，仍属宿县专区。

1968年8月，砀山县革命委员会成立。

1981年12月30日，砀山县革命委员会改称砀山县人民政府。