春秋时期，泰山境域先属楚国棠邑，后入吴。

战国初，吴亡入越，后越亡复属楚。

秦至东汉末年，境域先后隶属九江郡、临淮郡、广陵郡的棠邑县。

三国时，境域先属魏，后属吴。

西晋永嘉元年（307年），今东门一带建宣化镇。

东晋隆化元年（397年），宣化镇隶属秦郡尉氏县。

南朝梁天盛元年（502年），分尉氏县为尉氏、棠邑两县，境域属尉氏县。

隋开皇三年（583年），宣化镇改为六合镇。

开皇四年（584年）置六合县，境域属六合县。

唐、宋、元三朝，境域属六合县孝义乡。

洪武九年（1376年）置江浦县，县治设于浦口城内（今东门大街）。以宣化山口为界（今泰山庙），以南属江浦县，以北属六合县；两县均隶属应天府。

清顺治二年（1645年），改应天府为江宁府，境域分属六合、江浦两县。

咸丰八年（1858年），太平天国改江浦县为天浦省，境域属之。

同治三年（1864年），复属六合、江浦两县。

民国元年（1912年）10月，袁世凯政府将浦口辟为商埠。

民国一十六年（1927年）6月，国民政府将浦口商埠区域（今浦口镇范围）划归南京市，并设浦口商埠管理处。

民国二十二年（1933年），浦口商埠区域建立南京市第八区，为浦口建区之始。

民国二十六年（1932年），浦口被日军占领后，复归江浦县管辖。

民国三十四年（1945年）9月，国民政府还都南京，浦口商埠区恢复南京市第八区建制。此间，东门镇和南门镇仍属江浦县浦镇区。

1949年4月22日，浦口解放。同月，东门镇和南门镇从江浦县划入南京市，成立南京市两浦区。并将原浦口分为南镇和北镇，泰山境域内设有东门镇、南镇、北镇3个镇。10月，南镇农村部分划出成立吉袱乡，北镇农村部分划出成立柳袱乡。

1950年秋，柳袱乡分为柳袱、三河2个乡；撤销南镇和北镇，建立浦口镇。至此，泰山境域有2镇（浦口镇、东门镇）2乡（三河乡、柳袱乡）。

1953年6月，东门镇农村部分划出，与南镇农村部分合并成立杨北乡。

1955年9月，根据南京市人民委员会决定，撤销浦口镇，设老江口、阳沟街、小河南3个街道。此后，行政区划变动频繁。

1958年8月31日，成立红旗人民公社（后改为浦镇人民公社）。

至1960年3月，境内东门镇和农村部分全部划归浦镇人民公社管辖。5月，撤销小河南、老江口两个街道，合并成立浦口城市人民公社。

1962年4月，撤销浦口城市人民公社，建立大马路、老江口两个街道，7月恢复东门镇建置。

1963年6月，浦镇公社划分为三河、宝塔、顶山、吉庆4个公社。

1969年3月，撤销老江口、大马路2个街道，合并恢复成立浦口镇。

1983年，改人民公社为乡建置，三河公社改为三河乡。

1989年6月25日，撤销东门镇和三河乡，合并成立泰山镇；撤销浦口镇，设立浦口街道。

2002年11月，撤销浦口街道和泰山镇，合并成立泰山街道，办事处设在柳洲北路。