吉水县早在5000多年前的新石器时代就有先民在境内聚居。夏时属扬州，位于扬州地域之西境。商末后为吴地，战国时归楚。秦始皇（前221年）统一全国后，属九江郡庐陵县。

西汉高祖元年（前206年），属九江王国庐陵县。高祖四年（前203年），改九江王国为淮南王国，吉水属淮南王国庐陵县。高祖六年（前201年），从淮南王国中析置豫章郡，庐陵县属之。

（新）王莽始建国元年（9年），改豫章郡为九江郡，改庐陵县为恒亭县，吉水属之。

东汉光武帝建武元年（25年），郡县名称和隶属关系皆复旧。和帝永元八年（96年），析新淦、庐陵两县之间地置石阳县（县治设今醪桥镇固洲村，为吉水县前身），属豫章郡。献帝建安四年（199年），析豫章郡置庐陵郡，石阳县属之。

三国吴末帝宝鼎二年（267年），析庐陵郡之石阳、阳城地置吉阳县。

西晋武帝太康元年（280年），庐陵郡治从西昌（今泰和县城西）徙石阳（今醪桥镇固洲村一带）。惠帝元康元年（291年），吉水属江州庐陵郡之石阳、吉阳县。

东晋咸康八年（342年），庐陵郡治从石阳县城徙于今吉安市区孔家湾，郡县隶辖如故。

隋开皇十年（590年），废庐陵诸郡，置吉州，改石阳县为庐陵县。开皇十一年（591年），吉阳县并入庐陵县。炀帝大业三年（607年），改吉州为庐陵郡，郡治再徙石阳故城。大业末（615年～617年），分庐陵县水东的顺化（又作淳化、舜化、纯化）、文昌（又作永昌）、折桂、中鹄、仁寿、兴平、明德、永丰、龙云（含报恩镇）、云盖、迁恩（又作迁莺）等11乡置吉水县，县治设今文峰镇，属庐陵郡。

唐高祖武德五年（622年），庐陵郡复改吉州，吉水属之。武德八年（625），改吉州为庐陵郡。高宗显庆二年（657年），改庐陵郡为吉州。高宗永淳元年（682年），州治从石阳故城迁今吉安市区道署坪一带。玄宗天宝元年（742年），改吉州为庐陵郡，郡县隶辖未变。天宝十四年（755年），吉水县改为吉水镇（镇治设今城南）。肃宗乾元元年（758年），庐陵郡改为吉州。

十国吴高祖天祐七年（910年，用唐年号），杨吴占领吉州，沿承唐制。升吉水镇为吉水县，以新淦为都制置使治所，领新喻、丰城、吉水3县，欲遂图虔州，旋移治吉水，寻废。南唐烈祖升元二年（938年），罢新淦都制置使，吉水由县改场，还隶吉州。元宗保大八年（950年），吉水由场复县，仍隶吉州。

北宋太祖开宝八年（975年），吉州改称吉州庐陵郡兼军事，吉水属之。仁宗至和元年（1054年），析吉水县之兴平、明德、永丰、龙云（含报恩镇）、云盖五乡置永丰县。哲宗元祐七年（1092年），庐陵县以同水乡及新嘉里换吉水县之顺化乡。

南宋高宗绍兴二十一年（1151年），析吉水县之迁恩乡归永丰县管辖。

元世祖至元十四年（1277年），设江西行中书省（简称江西行省或江西省），吉州庐陵郡兼军事改称吉州路总管府，吉水县属江西行省吉州路总管府。成宗元贞元年（1295年），吉水由县升为州，隶属未变。仁宗皇庆元年（1312年）改吉州路总管府为吉安路。惠宗至正二十二年（1362年），改吉安路为吉安府，吉水属之。

明太祖洪武二年（1369年），吉水由州复为县。洪武九年（1376年），江西行省改为江西承宣布政使司，布政司之下设道，吉安府属湖西道，吉水县属之。

清世祖顺治二年（1645年），清军破吉安，因袭明制。圣祖康熙二十一年（1682年），废湖西道，吉安府直隶江西承宣布政使司。世宗雍正九年（1731年），吉安府属分巡吉南赣道。高宗乾隆十九年（1754年），吉安府属分巡吉南赣宁兵备道。

中华民国元年（1912年）冬，废府，吉水县直属江西省。

民国三年（1914年），划江西为豫章、浔阳、庐陵、赣南四道，吉水县属庐陵道。

民国十五年（1926年）废道，县直属省。

第二次国内革命战争时期（1927年～1934年），境内苏区分别成立庐吉县、公略县、新峡县，国统区仍称吉水县。水南等革命老根据地与吉安合成庐吉县；水南、白沙、中鹄、水东、折桂、冠山等区划归公略县；同水区的阜田、枫江等大部村庄与新喻、峡江二县的边缘地区划归新峡县。公略县和新峡县直属中华苏维埃共和国中央临时政府。

1934年红军北上后，苏区根据地沦为国统区。

1935年，吉水县属江西省第三行政区。

1949年6月，江西省人民政府成立，中共江西省委决定成立吉安分区。

1949年7月14日，吉水县全境解放。7月15日，中共吉水县委、吉水县人民政府宣告成立，隶属吉安分区。

中华人民共和国成立后，1950年9月，改吉安分区为吉安区，吉水县属之。

1955年，改吉安区为吉安专区。

1968年，改吉安专区为井冈山专区。

1971年，改井冈山专区为井冈山地区。

1979年，改井冈山地区为吉安地区。吉水县隶属不变。2000年，经国务院批准撤销吉安地区，设立地级吉安市，吉水县隶属吉安市至今。