夏商时属古扬州地域南境。春秋战国时，先后属吴、越、楚三国。秦代，属九江郡。

汉属豫章郡庐陵县。东汉初平二年（191年），立南部都尉置庐陵郡，隶扬州刺史部，东汉建安四年（199年）建县，县治云洲（今万安县五丰乡云洲，距今万安县城十五里）。三国嘉禾四年（235年），吴大帝改遂兴为新兴。晋太康元年（280年），新兴复名遂兴，迁县治于上流光化乡景云观，即今雩田镇境内遂水东南岸的中洲，民间称“旧县”， 隶属庐陵郡。南北朝，沿袭晋制。辖地约含今之遂川及万安县、泰和县、井冈山市的部分地域。

隋开皇十年（590年）废遂兴等六县，设置安丰县，遂兴为其一部分。次年改安丰为泰和县。唐袭隋制。五代十国，唐天祐十六年（919年），杨隆演据江南，国号“吴”。

五代杨吴大和四年（932年），县西边境邑扶氏“据险不输贡赋”。春三月，李孟俊讨之不克，冬十月，楚以彭珏守郴，招抚“扶贼”，号扶端公，自此，县自索头岭之东，春堂岭之西尽入于楚（今湖南）。南唐保大元年（943年），析泰和龙泉乡什善镇置龙泉场。南唐李璟十八年（960年）升场为县，名龙泉县，以旧场治为县治，在水南十七都慈云寺（今瑶厦乡小溪村境内），辖地仍包括今之遂川、万安县境。

宋开宝八年（975年），南唐国亡，龙泉县地归宋管辖。宋熙宁四年（1071年）析县之万安镇置万安县，并将永兴、禾蜀两乡各半划给万安。宣和三年（1121年）改龙泉县为泉江县。绍兴元年（1131年）复改泉江为龙泉县，隶属江南西路吉州军。此时，县境东自万安县界22.5公里，西至郴州桂阳界60公里，东西相距82.5公里；南至南康县界20公里，北至永新县界75公里，南北相距95公里。

元明两代，县境没有大的变动。元代元贞元年（1295年），龙泉县隶属江西行中书省吉安路。明代，龙泉县隶属江西承宣布政使司湖西道吉安府。清初，沿袭明制，雍正九年（1731年），吉安府改隶吉南赣道，龙泉县仍属吉安府管辖。至清同治年间（1862～1875年），县境东接万安县20公里，西接桂东县秋坪60公里，东西相距80公里；南至南康县牛皮岭分水石12.5公里，北达永新县观土岭75公里，南北相距87.5公里。

中华民国元年（1912年）冬，县直属省。

民国三年（1914年），为避与浙江、贵州两省之龙泉县同名，改名为遂川，遂川县名沿用至今。

民国时期，县境基本末变。

民国21年（1932年），江西省划分为13个行政区，遂川县隶属第10行政区。

民国24年（1935年），全省缩为8个行政区，遂川隶属第3个行政区，直至1949年解放。

中华人民共和国，1949年8月2日遂川县解放。先后属江西省赣西南区、吉安分区、吉安专区、井冈山专区、井冈山地区。

1950年10月和1952年9月间，永新县茨坪、石狮口、罗浮一带村庄，南康县巾石乡先后划入遂川县境管辖。

1953年6月，湖南省桂东县桥头区及其所辖的桥头、大地等13个乡先后划入遂川县管辖。

1957年10月，桥头、大地两乡又划归湖南省桂东县。

1959年7月，将县管辖的井冈山乡划给新成立的井冈山管理局。

1969年8月又将紧邻井冈山的黄坳、下七两个公社划归井冈山革命委员会管辖。

1979年7月属吉安地区。

2000年6月，吉安地区撤地设市，改称吉安市，遂川属吉安市至今。