今玉门境域在新石器晚期就有人类生活的痕迹。

商至战国为西羌地。

秦至汉初为月氏、乌孙国和匈奴地。

西汉元狩二年（公元前121年）始置玉门县，隶酒泉郡。

东晋十六国时西凉置会稽郡。

南北朝时北魏置玉门郡，后屡有变更。

清乾隆二十四年（公元1759年），复置玉门县 。

1949年9月25日，中国人民解放军和平解放玉门油矿，翌日（9月26日）解放玉门县。

1955年12月，成立玉门市（省辖市）。

1958年，合玉门县、玉门市为地级市。

1961年，改为县级市，隶属酒泉地区行政公署。

2002年，酒泉撤地设市后，玉门市由地级酒泉市代管。

随着玉门市老市区资源逐渐枯竭，2003年开始，玉门市驻地向玉门镇迁移，同时成立了老市区党工委和老市区管理委员会。

2009年3月，玉门市被批准列入国家第二批资源枯竭型城市。

截至2013年，玉门市新市区“六纵五横”的城市路网基本形成，新市区建成区面积由迁址之初的3平方公里拓展到了9平方公里，聚集人口5万多。