夏商周时期，象山区是“百越”人的居住地。秦始皇置桂林，象，南海三郡，汉元鼎六年（公元前111年），在这里设始安县，隶属荆州零陵郡。东汉时改属始安侯国。三国时先属蜀，后归吴。甘露元年（265年），置始安郡始安县。隋唐时属岭南桂州总管府。

唐武德四年属桂州始安郡。光化三年（900年）始，属静江节度。五代十国时先后属楚和南汉的桂州。宋时，前属广南西路桂州，后属静江府。元时属广西行中书省静江路。明清时均属广西省桂林府。

民国二年（1913年）为桂林县治所，民国28年（1940年）临桂县治分属桂林市培风、义南镇和西南附廓乡，1950年属第二区和西郊区，1955年改阳桥、南门2街道和东莲乡，1958年改阳桥、南站2公社，1966年更名为东升、跃进公社，1979年2公社合并设象山区。

1996年12月2日，国务院批准对桂林市市辖区的行政区划作相应调整：扩大象山区的行

象山区政府

政区域，将原郊区的二塘乡、柘木镇的同心、平山两个村和穿山乡的安新村划归象山区管辖。区人民政府驻银锭路。

2003年，象山区辖3个街道、1个乡。