距今5000—10000年前，三江流域沿岸已有先民活动。公元前2000年左右，乐山出现铜制器具。公元前600年前后，以鳖灵为首领的开明氏部族定居青衣江流域，在此生息繁衍，开垦荒地。

战国公元前309年，秦武王派兵南下，灭掉开明氏原管辖地区统治，秦国在今乐山市市中区建立南安县，从陕西泾水地区迁来大量人口到青衣江流域定居。

公元前256年，李冰组织乐山人民凿断凌云山崖，开出引水渠道。从此，岷江，大渡河在乐山一带的水上航运逐步发展起来。

汉朝将南安隶属于犍为郡。西汉文帝时，南安人邓通铸造钱币，有“邓氏钱布天下”的说法。

三国时期，蜀国丞相诸葛亮在犍为铁山冶铁制造武器、工具等，乐山的冶炼规模和技术已达到先进水平。

魏晋南北朝，东晋末年，南安设置治官县，重点对迅速发展起来的冶铁业实行管理。这一时期，原来居住在广西、贵州、云南一带的十多万僚人进入四川，乐山犍为铁山以及三江流域聚居了大批僚人。居住生活延续了二百多年。

南北朝时期，因战乱不断，乐山地区的建制屡有变迁。

北周时置嘉州，取“郡土嘉美”之意。在乐山设置平羌县管理僚人。

隋朝置眉山郡。原南安县改名龙游县，传说是隋朝军队从成都乘船向乐山进军、追击陈国败兵时，岷江中有游龙导航，帮助隋朝军队统一天下，因此改南安为龙游。中央政府在乐山增设夹江、峨眉两县。此时，乐山能造黄龙大船，成为四川江河沿岸的重要造船基地。

唐复嘉州，眉州。种茶业已十分发达。岑参赋诗描述嘉州城外“田半种茶”。唐朝中期开凿了举世闻名的乐山大佛。

两宋宋朝改嘉州为嘉定府；

元代改为嘉定路；

明代改为嘉定州；

清雍正十二年（1734年）升嘉定州为嘉定府，并在府治置乐山县，取“城西南五里有‘至乐山’”为名，改龙游县为乐山县，“乐山”之名沿用至今。

元朝设置马湖路，明朝设置沐川司，清朝设置马边厅、峨边厅。

中华民国废州府，治地设乐山行政督察专员公署。

新中国成立后，设乐山专员公署。

1950年置乐山专区。

1968年改为乐山地区。

1978年乐山县与五通桥区合并改为乐山市（县级），仍隶属于乐山地区。

1985年，撤销乐山地区建地级市。

1997年行政区划调整，眉山等6县划出。