汾阳，因位于汾河之阳（西）而得名。据《明史·地理志》，汾阳县，奉宋金元汾阳军，汾阳军取义则因地当汾河之阳。

汾阳始建于春秋初期，为瓜衍县，属并州。

战国属赵，为兹氏县。

秦汉时期仍名兹氏县（今市区西南8千米巩村），属并州刺史部太原郡。

新莽改兹同，东汉复旧。

三国魏黄初二年（221）兹氏县治徙今市区，且为西河郡治。

西晋改为隰城县，改郡为西河国。永嘉末年陷废。

北魏太延年间置什星军，后废。太和八年（484年）复置隰城县及西河郡，隶汾州。孝昌年间汾州自今交口县境徙此。

东魏天平二年（535年）于今市区南8千米东阳城村侨置灵州和真君郡。武定四年（546年）于今市区东南8千米团城村置武昌郡。

北齐改汾州为南朔州。

北周废灵州，改南朔州为介州。

隋大业中年改介州为西河郡。

唐武德元年（618年）改西河郡为浩州，三年复为汾州。天宝元年（742年）改汾州为西河郡。乾元元年（758年）复为汾州。上元元年（760年）改隰城县为西河县，属汾州。

宋属河东路。

金属河东北路。

元属冀宁路。

明洪武元年（1368年），省西河县置汾州（直隶州），兼领平遥、介休、孝义三县。万历二十三年（1595）升汾州为汾州府，依廓设汾阳县，府属冀南道，府、道治所皆驻县城内。

清康熙六年（1667年）冀南道废，入冀宁道。

民国年间废府、道，县直属省。

民国29年（1940年），属晋西北行署第八专区；民国32年（1943年），属晋绥边区行署第八专区；民国34年（1945年），属晋绥边区吕梁行署七专区；民国37年（1948年），县划属华北区晋中专区，同年7月，汾阳全境解放。

1949年属汾阳专区，为专署驻地。

1951年废汾阳专区，县改属榆次专区。

1958年属晋中专区。

1970年属晋中地区。

1971年5月划归新成立的吕梁地区。

1996年8月20日，经国务院批准，汾阳撤县设市，为县级市。

2003年10月23日，国务院批准撤销吕梁地区，设立地级吕梁市，县级汾阳市改由山西省直辖、地级吕梁市代管。