中山地域最早见于史载是在东汉。《三国志·魏书》中《邴原传·卷十一》记载，东汉时中原著名学者邴原曾避乱辽东，“原欲归故里，止于三山”。即邴原在辽阳（襄平）居住十余年后，在返山东时，在“三山”又居留若干年。“三山”得名于大连湾口外的三山岛，当年的“三山”泛指三山岛对岸的大陆，其中包括今中山区域在内，这是中山区最早的称谓。

唐朝初年，中山区域称“三山浦”。唐初征高句丽收复东北地区时，唐军曾在三山岛储备粮秣军械，为攻取大黑山卑沙城做准备。至唐贞观年间，中山区域称“青泥浦”。

明代，中山区域称“青泥岛”。明天启年间中山区域又称“三山海口”。

清同治九年松山寺古刹重建碑（1870年6月）铭文中有“大清国盛京奉天府金州郡西旅安社青泥洼”字样，可知当时中山区域称“青泥洼”。考其源，因这里临海一带地势低洼，海滩有大片淤泥，船家向陆地看呈青乌色，故名。

1898年俄国强租大连后，颁布《暂行关东州统治条例》，开始以东西青泥洼村为中心，建设城市和商港。东清铁路公司以45万美元廉价收购东起寺儿沟，中经东、西青泥洼村，西至黑咀子等处25个村和50余屯的5.4万亩土地，用以建港和建城。至1903年筑港二期工程结束时，港口年吞吐量已达到131万吨。铁路也与东省铁路连接，建成拥有4万多人口、城区面积达4.25平方公里的港口城市。街区以尼古拉广场为中心，东自寺儿沟、西至今大同街、南起南山北麓、北达北海岸。 日俄战争结束后，日本取代俄国侵占大连，组建军政署，实行残酷殖民统治。日本统治当局在沿用俄国城市规划的基础上不断修订，城区规划面积由14.5平方公里扩展到170平方公里。同时不断扩建港口，修筑道路，建设游乐园，开辟海滨浴场。

1905年2月，日本当局把达里尼市改名为大连市。日本统治大连期间，统治机构几经更迭，1904年5月至1905年5月为军事占领的军管署时期；1905年6月至1919年4月为军政统治时期；1919年4月至1945年8月为民政统治时期。大连民政署衙门1906年9月设在日本桥（今胜利桥）北，1908年迁大广场。

1915年9月以后，日本统治当局对大连城市区实行“市制”统治，“城市居民自治”，即设若干町街组成街区，今中山区域大体属于东大连区。城郊及农村实行会制，为州民政署下的第三级政权机构，中山区域农村大体属岭前会、老虎滩会。会下设屯、街，配屯、街长。

1945年8月22日，苏联红军进驻旅大，实行军事管制。11月8日，大连市政府成立。12月8日，改黑咀子区为中山区至今。

1945年11月8日，大连市政府成立后，将日本统治时期的123个区划定为市内12个区，并在12月8日的《新生时报》上刊登:“市政府从大连市旧123个区重新划编12个区等情已至本报，唯黑咀子区之名不但区长认为不雅，市民亦以为有更改的必要，故经群众提建议，通过市政府批准，改为中山区，用以纪念孙中山先生精神永垂不朽”。

1946年2月7日，大连市区政会议决定大连市内设中山、西岗、沙河口、寺儿沟、岭前5个区，原中央区和南山区并入中山区，并于2月21日成立中山区政府。

1950年12月寺儿沟区公所并入中山区公所，同时改称中山区人民政府。

1955年4月，改称中山区人民委员会。

1959年8月，岭前区并入中山区。

1950年12月，在城市区公所改为区人民政府的同时，将寺儿沟的7个坊并入，共有25个坊，即：王家屯、北斗、春海、春和、春德、兴和、桂林、武昌、昆明、武汉、华昌、友好广场、解放、枫林、青泥洼桥、永和、胜利桥、友好、菜市、天津、民生、民主广场、安乐、明泽、北海公园坊。

1953年6月，撤销坊改建为街道居委会。

1954年初，将25个街道居委会，调整为18个街道，即：明泽、兴和、民主、民生、永和、天津、民乐、青泥洼桥、友好广场、解放、枫林、华乐、春德、春海、春和、昆明、华昌、桂林街道办事处。

1959年9月，将原有25个街道（含岭前区撤销后并入的7个街道）合并为八一路、虎滩、桃源、葵英、青泥洼桥、天津、解放、民乐、春海、桂林等10个街道。

1960年4月，成立中山区公社，将10个街道调整成立青泥洼桥、桃源、葵英、天津、春海、枫林6个分社。

1962年9月，撤销城市公社，恢复街道办事处。将6个分社改为青泥洼桥、桃源、葵英、天津、春海、枫林、八一路、虎滩、明泽、桂林、春和、民乐、民主、昆明等14个街道。

1969年9月，街道相继成立革命委员会，同时调整部分区划：将八一路和民乐2个街道革委会划归西岗区管辖，将虎滩公社并入桃源公社、桂林公社并入枫林公社后，共辖青泥洼桥、天津、民主、明泽、春和、春海、枫林、昆明、葵英、桃源10个公社，下属71个街道。

1978年，撤销城市公社，恢复街道办事处，名称不变。其后，随着城市人口的增加和市区的扩大，增设了虎滩、桂林、转山3个街道。

1991年末，中山区辖13个街道：枫林、桂林、春和、民主、天津街、明泽、青泥洼桥、昆明、春海、桃源、葵英、虎滩、转山。

1998年12月末，中山区辖13个街道（春海、春和、桂林、虎滩、葵英、昆明、民主、明泽、青泥洼桥、天津、转山、枫林、桃园），共有居委会285个。

2003年底，春海街道、春和街道合并为海军广场街道，民主街道、明泽街道合并为人民路街道，桂林街道、枫林街道合并为桂林街道，青泥街道、天津街街道合并为青泥街道，虎滩街道、转山街道合并为虎滩街道。葵英街道、昆明街道、桃源街道不变。