金水区位于郑州市东北部，因起源于春秋战国时代、从西往东贯穿全区的金水河而得名。解放前，辖区属郑县管辖。

1948年郑州解放，郑县分为郑州市和郑县，辖区城区部分属市、农村部分属县。

1953年撤销郑县，成立郊区，辖区城区部分归陇海区、二七区和建设区，农村部分属郊区。

1960年4月，金水人民公社成立；

1961年8月更名为金水区，区辖9个街道办事处和海滩寺农业公社。