遂川历史悠久，早在新石器时代，人类就已在此繁衍生息。

夏商时遂川属古扬州地域南境。春秋战国时期，先后属吴、越、楚。秦属九江郡。汉属豫章郡庐陵县。东汉建安四年（199）孙策定庐陵，同年，建县于遂水之口（今万安云洲），名曰遂兴县。此为遂川建县之始。三国时，属吴国领地，吴嘉禾四年（235）改县名为新兴。晋太康元年（280），徙县治于上流光化乡景云观（今雩田镇中洲，民间称“旧县”），复名遂兴，隶属庐陵郡。隋废县，划归泰和县。南唐保大元年（943），析泰和龙泉乡什善镇置龙泉场。南唐李璟十八年（960）升场为县，名龙泉县。.宋宣和年间改县名为泉江，后又改回龙泉。1914年3月，为避同名，改名遂川，县名延续至今。县治在遂川江之北，遂水又名龙泉江。历代均属吉安。 现在辖区内有蒙古族、回族、藏族、维吾尔族、苗族、彝族、壮族、布依族、朝鲜族、满族、侗族、瑶族、白族、土家族、哈尼族、傣族、黎族、畲族、哈萨克族、俄罗斯族、鄂伦春族、高山族、水族、纳西族、土族、撒拉族、仡佬族、锡伯族、阿昌族、羌族、塔吉克族、京族等民族分布。