乐山历史悠久，远在3000多年前的巴蜀时代，曾是蜀王开明部族的故都。公元前四世纪秦灭巴蜀，乐山隶属于蜀郡，因解放前的乐山在成都的南面，故定名南安。

汉朝将南安隶属于犍为郡。南北朝时期，因战乱不断，乐山地区的建制屡有变迁。北周置嘉州，取“郡土嘉美”之意。隋朝隋置眉山郡。原南安县改名龙游县，传说是隋朝军队从成都乘船向乐山进军、追击陈国败兵时，岷江中有游龙导航，帮助隋朝军队统一天下，因此改南安为龙游。唐复嘉州，眉州。

宋朝改嘉州为嘉定府；元代改为嘉定路；明代改为嘉定州；清雍正十二年（1734年）升嘉定州为嘉定府，并在府治置乐山县，取“城西南五里有‘至乐山’”为名，改龙游县为乐山县，“乐山”之名沿用至今。

中华民国废州府，治地设乐山行政督察专员公署。中华人民共和国设乐山专员公署。

1978年乐山县与五通通桥区合并改为乐山市（县级），仍隶属于乐山地区。

1985年改乐山地区为乐山市，属省辖市。