原始社会晚期，境内就有人类生活。县城西南约20公里佘家台，有新石器时代遗址，属龙山文化。古为淮夷地，又称九夷。三代尧封禹为夏伯，在此建邑，名夏丘（邑治遗址在今县城东南1里许），属徐州。商沿夏制。周时属青州，春秋时，初属宋，宋灭属楚。秦始皇统一中国，属薛郡。后在潼城（今泗县的潼城）增设僮县，与夏丘境属泗水郡。西汉置夏丘县，属沛郡。东汉时，属下邳国。北周改夏丘为晋陵县，后与朱沛郡的高平县并置泗州。隋开皇十八年（598）复夏丘县，属泗州。

唐武德四年（621），置虹县（治今五河县境）。六年废夏丘入虹。之后，虹县移治夏丘，属仁州。贞观八年（634），废仁州，虹县属泗州。元和四年（809）改属宿州。大（太）和四年（830），废宿州，复属泗州。后复置宿州，治于虹，虹县再属宿州。五代时沿唐制。

宋元祐七年（1092），虹县属淮南路。绍兴九年（1139），改属淮东路泗州。十一年属南京路泗州。建炎后没于金，虹县仍属南京路泗州。元置行省、路（府）、军（州）、县4级建制，虹县初属河南江北行中（尚）书省（又称河南行省）淮安府泗州，继属江北淮东道。至正二十七年（1367），改属临濠府泗州。

明洪武六年（1373）九月，泗州改属中立府。七年八月属凤阳府，属凤阳府泗州。

清初沿明制，后实行省、道、府（直隶州）、县4级制。

顺治二年（1645），虹县属江南省凤阳府泗州。康熙六年（1667），江南省分置安徽省。雍正三年（1725），泗州升为直隶州，虹县仍属凤阳府。乾隆四十二年（1777）泗州迁州治于凤阳府虹县，并虹县入泗州，虹县降称虹乡，至此泗县始为泗州州治。

1912年4月废州制，改称泗县，直属安徽省。

1914年6月，安徽省设3道，泗县属淮泗道（驻凤阳县）。

1932年10月废道，泗县为安徽省第七区首席县，治泗城。后改行政督察专员制，泗县属第六区，专员公署暨泗县政府治泗城。

1938年11月7日，日本侵略军小川部侵占泗县城，六区专员公署暨泗县政府先后迁治于郑集、双沟、管镇等地。

1940年3月，中国共产党组织接管国民政府在皖东北政权，建立抗日民主政府。同年10月，撤销泗县建制，以泗县为中心，结合邻县。成立泗东、泗南、泗宿、泗北、泗五灵凤5个办事处。

1941年4月起，办事处先后撤并为泗南（治今江苏省泗洪县双沟、罗冈一带）、泗宿（治今泗洪县臧桥）、泗五灵凤（治今五河县申集）、（治今泗县黄圩区三侯家）3个边区县，次年春增设泗灵睢县均属苏皖边区行政公署。泗县沦陷区的伪政权，先是维持会，后为县政府，治泗城，先后属苏淮特区和淮海省。

1945年8月日本投降，汪伪泗县政府亡。9月，抗日民主政府撤销边区县，恢复泗县建制，属苏皖边区淮北地区第七专区。专员公署、中共地委暨泗县政府治泗县城。

1946年7月，国民政府军进占泗县，泗县人民民主政府东撤，国民政府在泗主政。改属安徽省第四行政督察区。

1947年11月后，复建人民民主政府，先后恢复原4个边区县制，属苏皖边区淮北地区第七专区，县政府均驻农村，无一定地点。

1948年5月起属豫皖苏边区江淮区。10月，中国人民解放军解放泗县；翌年4月21日，恢复泗县建制，治大庄；5月迁治泗城，属皖北行署宿县地区。

1952年，属安徽（宿州）专区。

1956年属蚌埠专区。

1961年属宿县（宿州）专区，沿续至今。