皋兰县为丝路重镇，陇西要冲。

春秋战国时为羌戎之地，

秦统一中国后归秦。

西汉时属金城郡，首置金城县。

西魏、北魏与北周时属子城县，子城县为金城郡治所在。

隋初，属兰州总管府，废府复郡后，仍属金城郡金城县。

唐属兰泉县，即现兰州市区所在，亦为金城郡治。

唐后期与五代时，为吐蕃辖地。

宋、金、元、明均属兰州。

清代乾隆三年（1738年），因境内有皋兰山而更名为皋兰县，沿用至今。

清代至民国作为甘肃首县和省会重镇，幅员辽阔，辖今兰州、白银两市的大部分地区。

民国二年（1913年）并兰州府、巩昌府为兰山道，领15个县，兰山道尹驻省会皋兰县。

民国十六年（1927年），废道改区，皋兰县属兰山区。

民国十九年（1930年），皋兰县设7个区，429个村，县域东至甘草镇60千米交定西界，西至张家寺70千米交永登县界，南至漩马滩50千米交洮沙县界，北至甘露池80千米交红水县界。

民国二十五年（1936年）属甘肃督察公署第一行政督察区。

民国三十年（1941年）7月，中华民国政府划出皋兰县城区及近邻16平方千米的区域设立兰州市，皋兰县城即为兰州市区，兰州市区成为县中之区，县治驻现城关区永昌路。故有“先有皋兰县，后有兰州市”之说。

民国三十三年（1944年）12月后，皋兰县直属甘肃省。

民国三十四年（1945年）县治迁驻盐场堡，全县有21个乡镇，下辖157个保、1467个甲。

民国三十五年（1946年）县治迁往市内曹家厅，辖21个乡镇，151个保、1572个甲。

1949年8月26日，皋兰县与兰州市同日解放，直属陕甘宁边区政府甘肃行政公署。12月归属兰州市。

1951年8月由省直辖。

1956年1月划归定西专区。

1958年12月撤县，行政区域划归白银市。

1961年2月，恢复建制，归白银市管辖。

1963年10月再属定西专区。

1970年4月重新划归兰州市管辖至今。