克拉玛依辖境内历史上属北疆草原地带，许多游牧部族曾在此繁衍生息。秦代，今克拉玛依辖境为塞种等人游牧之地。汉初，辖境为西迁的大月氏人控制。南北朝时期，辖境为高车、突厥诸部落游牧之地，后为突厥汗国辖地。隋代，辖境为西突厥铁勒等部之地。唐初，辖境为西突厥五咄陆部胡禄屋等部游牧之地。公元657年，唐朝平定西突厥汗国后，在其地设盐泊都督府（地址在今克拉玛依市区附近），归安西大都护府治下的昆陵都护府管辖。公元702年，归北庭都护府管辖。唐末，今克拉玛依市辖一带为葛逻禄等回鹘别部游牧地，后为喀喇汗王朝东北境。

1130年，辽宗室耶律大石率部西迁叶密立（今额敏县），今克拉玛依辖境为其领地。1132年西辽建立后属西辽。1218年，成吉思汗击灭西辽政权，今市辖境为蒙古汗国辖地。成吉思汗分封诸子时，今克拉玛依地区为窝阔台封地。1251年，蒙哥汗即位后，设别失八里行尚书省，今克拉玛依一带归其管辖。1309年，今克拉玛依一带属察合台汗国。明代，瓦剌蒙古土尔扈特部在此游牧，1628年，土尔扈特部西迁后，属准噶尔部游牧地。

1755年，清朝平定准噶尔部后，今克拉玛依辖境内附。1762年，清政府在库尔喀喇乌苏设办事大臣，今市境南部独山子及五五新镇、共青镇等地归其统领。1764年，清政府设塔尔巴哈台参赞大臣，今克拉玛依辖境西北部一带归其统领。1778年，清政府在玛纳斯河流域设绥来县（今玛纳斯县），属迪化直隶州管辖。辖区包括今克拉玛依百口泉、夏子街、大拐、中拐、小拐等地区。至1886年，库尔喀喇乌苏直隶厅设立，仍辖今市境南部一带，属镇迪道管辖。1888年，塔尔巴哈台直隶厅成立，辖区包括今市境北部地区。市境东部大拐、中拐、小拐一带则仍属绥来辖区，归迪化(今乌鲁木齐)府管理。

1913年，塔尔巴哈台、库尔喀喇乌苏直隶厅改置为县，仍分辖市境南、北二部。

1916年，裁塔尔巴哈台参赞大臣，设塔城道，下辖塔城、乌苏、沙湾县，今克拉玛依市境一带统归其管辖。其后，今市境相继隶属于第五行政区、塔城专区管辖。至新中国成立前，分属于沙湾县、乌苏县、克烈半个县（今托里县）、和丰县（今和布克赛尔蒙古自治县）管辖。

中华人民共和国成立后，为适应乌苏县独山子石油工业的发展，于1955年2月成立了独山子矿区行政工作委员会。

1956年，依据自治区人民委员会《关于工矿区政权设置的决定》，成立了县级建制的独山子镇，行政工作委员会改为镇人民委员会，直辖于自治区人民委员会。今市境其余各地仍为邻县管辖区：乌尔禾一带属和布克赛尔蒙古自治县，大拐、中拐、小拐属沙湾县，黑油山、白碱滩一带属托里县，五五新镇、共青镇一带属乌苏县。至1958年5月，国务院批准克拉玛依设市后，其辖地也随之正式划定。