秦代至西汉初期，水磨沟区区域为车师游牧之地。

西汉宣帝神爵二年（公元前60年），汉朝统一西域，在乌垒设西域都护府，统领西域各国，水磨沟区域归西域都护府管辖，正式纳入西汉版图。

唐代，水磨沟区属轮台县管辖，归安西都护府节制。

宋元时期，区境属别失八里行书省。

明代，今区境先后属蒙古厄鲁特的和硕特部和准噶尔部。

清代，区境先后隶属于迪化直隶州、迪化府、迪化县，并在现六道湾、七道湾建立惠来堡、屡丰堡，实行屯田。

新中国成立后，隶属于乌鲁木齐市（1954年前为迪化市）。

1956年5月，从乌鲁木齐市五区和乌鲁木齐县一区各划出一部分成立水磨沟工矿区。

1969年又将八道湾镇划归水磨沟工矿区，1969年更名为水磨沟区。

1987年12月，乌鲁木齐市政府决定将卡子湾街道办事处划归东山区，1989年1月将天山区新民路街道办事处划归水磨沟区，1998年1月从新民路、六道湾两个街道办事处各划出一部分成立南湖街道办事处。

2000年8月将乌鲁木齐县七道湾乡交水磨沟区代管，2001年1月，乌鲁木齐县七道湾乡（不含卡子湾村）和原东山区芦草沟乡水磨沟村正式划归水磨沟区。