清代属阿勒楚喀副都统辖地。

清嘉庆十九年，1814年，随着“京旗移垦“和清政府封禁政策的解除，在南岗地区散见满、汉农民移居此地，最早形成的村落有秦家岗，哈尔滨火车站一带、尤家窝棚、白家窝棚、张老道屯、永发屯、杨马架子、哈达屯、新发屯、王家店、拉林屯。

清光绪三十年，1904年十月，中东铁路局发布第144号令，将哈尔滨划为新市街、新埠头、旧埠头和老哈尔滨4个区，南岗区归属新市街警察署。

民国十五年（1926年），东省特别区行政长官公署公布：将埠头区、新市街划归哈尔滨特别市管辖，马家区归东省特别区管辖。

民国十七年一民国二十年（1928年一1931年），适逢军阀割据，哈尔滨被分为四部分，分别隶属辽、吉、黑三省军阀和哈尔滨特别市。南岗地区仍归属哈尔滨特别市管辖。

民国二十六年（1937年），哈尔滨市公署公布市区条例，废除“保甲制”，实行区制，南岗地区设南岗、马家两个区事务所。

1949年9月，根据《哈尔滨市区街组织变更方案》，撤销区街政府和公安分驻所，重新组织区公所和公安派出所。南岗区与马家区合并为南岗区公所，为哈尔滨市政府派出的办事机构。

1950年10月25日，市政府根据中央人民政府政务院内务部对大城市区人民政府组织通则的要求，决定南岗区公所改为南岗区人民政府。

1955年2月，根据《中华人民共和国地方各级人民代表大会和地方各级人民委员会组织法》的规定，南岗区人民政府改为南岗区人民委员会。

1960年1月，哈尔滨城区实行人民公社化，改称南岗奋斗人民公社，为政社合一机构，仍执行区级政权职能。

1967年4月，成立南岗奋斗人民公社革命委员会。

1968年10月，经哈尔滨市革命委员会批准，改称南岗区革命委员会。

1979年11月，南岗区第七届人民代表大会第一次会议决定，撤销区革命委员会，恢复南岗区人民政府。