桃山区，以境内桃山得名。

中华民国时期，属勃利县管辖，初隶南乡，后改隶小五站镇。

民国十九年（1931年）东北沦陷后，隶属十一甲。

民国二十六年（1938年）日本侵略者强占民地，设立桃山开拓点。

民国三十四年（1945年）“九三”抗日战争胜利后，隶属勃利县第五区管辖。

民国三十七年（1948年）桃山区划归新增设的七台河区。

新中国成立后，1951年2月改为第十二区。

1955年5月，复改为七台河区。

1956年3月，撤七台河区划乡，隶属七台河乡管辖。

1958年9月，并入七台河人民公社，同年底划归七台河矿区公社管辖。

1960年3月，改隶七台河镇公社。

1965年2月，划归七台河特区管辖。

1970年4月，改隶七台河市。同年5月，设立市属桃山街道。

1973年6月，并入红旗公社。

1978年9月，七台河市政府自北山迁至桃南（今桃山区）。

1981年10月，桃山区复设桃山街道。

1984年1月20日，黑龙江省省政府批准，设立桃山区。