平凉历史悠久，境内现已发现旧石器时代遗址12处，除采集到石器外，还有人类头骨化石及相伴的牛、马、羊等动物化石，足以证明早在60万年前辖境内即有人类活动。从泾川县太平乡大岭上出土的旧石器早期先民生活的遗址可以断定距今30万年以前，平凉境内就有人类繁衍生息。距今5000年前，轩辕黄帝曾登临今平凉市崆峒山，问道于广成子。

辖境夏代时期为獯鬻戎狄居地。境内陇山以东为獯鬻居地，以西为昆夷居地。商末境内东南部有密（今灵台县境）、阮（今泾川、灵台二县之间）、共（今泾川县境）等方国先后建立。西周时期辖境属周人和狈狁之地。西周初，密、阮、共等方国归顺周，周文王筑灵台于今灵台县境。

春秋时期辖境为乌氏与义渠戎国属地。秦穆公三十七年（前623），秦伐戎，“益国十二，开地千里”，境内属秦。

战国秦惠文王，更元六年（前319），置泾阳、乌氏（在今平凉市境）和鹑觚（治所未详）3县，十年（前315），秦攻义渠，取25城，秦之势力日盛。

秦昭襄王二十八年（前279），秦置陇西郡（治今临洮），今静宁、庄浪县属陇西郡。三十五年（前272）“秦灭义渠”，置北地郡（今宁县境），今平凉、泾川、灵台、崇信4县（市）及今华亭北部属之。其后境内分属乌氏、阴密（今灵台县境，原密国改之）（阴密县，史多以为汉县，谭其骧主编《中国历史地图集》作秦县，故从。）、朝那（治今宁夏彭阳县西，今平凉市西北境属之）、泾阳（治今平凉市安国乡）4县。

秦始皇二十六年（前221），秦统一全国，全面推行郡县制。全区除华亭、崇信南部属内史，其余分属陇西、北地郡。始皇二十七年（前220）建鹑觚县（治今灵台县邵寨原）。另有卤县（治今崇信），设置时间无考。

汉承秦制，地方行政区划仍为郡、县二级。汉高祖刘邦二年（前205）十一月，置阿阳县（治今静宁城南）。汉武帝元鼎三年（前114），分北地郡置安定郡（治今宁夏固原），析陇西郡置天水郡（治今通渭县）。元封五年（前106），设十三刺史部以辖各郡。陇山以东各县，除鹑觚属朔方刺史部北地郡、今华亭东南部属右扶风所领汧县外，多属于凉州刺史部安定郡；陇山以西今静宁、庄浪县境为凉州刺史部天水郡所辖。

安定郡领21县，今境内有乌氏、泾阳、朝那、阴密、卤、临泾（今泾川）、阴槃（治今泾川县与陕西省长武县交界处）、安定（治今泾川县东北部及镇原县东南部）、爰得（治今泾川县与灵台县之间）及月氏道（治今平凉市白水乡与崇信县黄寨乡一带），计10县（道）。

北地郡领10县，辖今境内鹑觚1县（自汉始，政区划分的记载较为完整，但置县时间缺载。另据郦道元《水经注》及范文澜《中国通史》，今华亭境曾于平帝元始二年（公元2年）置安民县，《资治通鉴》注作“成帝永始二年（前15）”，东汉安帝永初五年（111）废，时达百余年，惜无旁史佐证，只能备考）。

平帝元始二年（公元2年）于今华亭境内置安民县，废于东汉3郡内迁时。新莽天凤元年（14），改天水郡为填（镇）戎郡。又分置阿阳郡，治成纪。另将乌氏县改名乌亭、月氏道改名月顺，不久即复原制。

东汉初政区调整，将原北地郡的鹑觚划归安定郡。乌氏、泾阳、朝那、阴密、卤、临泾、安定、阴槃、爰得、月氏道、安民等县统辖于安定郡。光武帝建武六年（30）废安定、爰得2县，其地并入临泾。明帝永平十七年（74），天水郡改名汉阳郡，辖境内陇山西部阿阳县。

安帝永初五年（111）三月，安定郡迁寄于美阳（今陕西省武功县境），顺帝永建四年（129）九月安定郡恢复原制，迁治于临泾（今泾川县城西北水泉寺）。原高平县也迁至今泾川县境内。是年，废泾阳入朝那。乌支侨置于今泾川县东。朝那县由今彭阳县地迁至郡治临泾一带。三水县侨置于今灵台县梁原境内。卤、月氏、安民、阴密等失载。

汉灵帝中平五年（188），阴槃县移至京兆的新丰（今西安市东北临潼县境），其地并入鹑觚县。汉献帝兴平元年（194）于鹑觚县置新平郡（支郡）。建安十八年（213），省凉州诸郡并入雍州。成纪、阿阳属雍州汉阳郡。三水、临泾、乌枝（原乌氏）属安定郡。其后，废三水县。

三国时，今辖区属魏国雍州。魏元帝景元三年（262），今泾川辖区的乌氏、临泾、朝那及今灵台辖区的阴密（何时复置待考），皆属安定郡，今灵台境的鹑觚则属新平郡；今华亭境属扶风郡；今静宁县的阿阳和成纪分属广魏郡和天水郡。

西晋初，今辖区仍属雍州。临泾、朝那、乌氏、都卢（都卢，新置，一说在弹筝峡水的源头。《晋书·地理志》有此县名，废弃时间无考。）（今平凉市都卢山附近）、阴密、鹑觚（移属），属安定郡。

晋武帝泰始五年（269），分雍、凉、梁3州置秦州，太康三年（282）年，罢秦州并入雍州（复置时间待考），成纪属秦州天水郡。广魏郡改称略阳郡，治临渭（今天水市东北部），省阿阳县，其县境及今庄浪境属略阳郡。

十六国时，今地区辖境主要由前赵（汉）、后赵、前秦、后秦、大夏统辖。今静宁曾一度受西秦、前凉所辖。

前赵初，安定郡尚存，治鹑觚，属雍州，辖今泾川和灵台、崇信、平凉以及华亭北部。东晋大（太）兴二年（319）分安定与扶风郡之汧置陇东郡（治今陕西省陇县与今华亭县区域），今华亭县和崇信县南境属陇东郡。成纪仍属天水郡。前凉张茂在位时，于东晋元帝永昌元年（322）复置秦州，统天水郡成纪县。前赵光初十年（327），今全境分属天水郡、陇东郡、安定郡及略阳郡所辖。

前秦苻坚移雍州治于安定。于永兴二年（358），“置赵平郡于鹑觚”，今灵台县部分区域属之；前秦甘露二年（360），分司隶置雍州，复爰得县；阴密县属雍州，鹑觚属赵平郡。又于建元十二年（376）灭前凉，随后置平凉郡，意为平定凉国，治今宁夏彭阳县境，今平凉市大部分区域和华亭、崇信北部皆属之。

成纪仍属秦州天水郡；今庄浪境仍属略阳郡；西秦更始元年（409），攻占略阳郡，并攻克水洛城。

后赵时，天水、略阳、安定3郡所属各县，大致同前赵。后秦时，秦州统略阳郡，雍州领安定、平原、平凉3郡。大夏时，原安定、平凉2郡所领县属凉州天水郡。夏胜光元年（428），赫连定即皇帝位于平凉，次年于今平凉市东境置平原郡，阴槃县由今陕西省临潼迁至今平凉市四十里铺镇曹湾，郡、县治于一地，平原郡领阴槃。

南北朝时，今辖区先后隶属于北魏、西魏和北周。

北魏神麂三年（430），置泾州（治临泾）辖6郡。安定郡领安定、临泾、朝那、乌氏等县。今华亭、崇信南部属陇东郡，爰得县与高平县属新平郡，赵平郡（治今灵台县与陕西长武县交界处）辖鹑觚县。北魏初，于今灵台县百里镇一带置石塘郡，无属县，至孝文帝太和十一年（487）废郡为县，属安定郡。同时复置阿阳县（领有今庄浪县境），属秦州略阳郡，成纪县失载。孝明帝熙平二年（517）析鹑觚县置东阴槃县，今平凉市境至今灵台县境，属平凉郡。阴密仍在今灵台县境。

孝武帝太昌元年（532）于今华亭县境置华亭镇。

西魏时，在今地区辖境设总府（亦称总管府），治安定，先后辖泾州等5州。安定郡（治安定县）和平凉郡（治阴槃县）属泾州。今庄浪县境属北秦州安阳郡（治今秦安县境）。文帝大统元年（535），省临泾县，将安定县从高平城移至泾州城内，并新置安武县（在泾川北，原临泾县境）与安武郡，郡治朝那，又将鹑觚县移至今灵台县东南，属赵平郡。废帝元年（552），东阴槃县改为宜禄县，今灵台县东南部属之。

北周武帝建德元年（572），新置平凉县（治阳晋川），今平凉市境大部属之，隶于原州长城郡。废赵平郡，以鹑觚县属安定郡。

隋文帝开皇三年（583），全国废郡置州。炀帝大业三年（607），又废州置郡。

大业元年（605）曾析鹑觚置灵台县，旋即又省灵台并入鹑觚；又析安定县与鹑觚县置良原县（治今灵台县西梁原乡），同时置华亭县于今华亭县境。

安定郡治安定县（今泾川县北），辖安定、鹑觚、阴槃、良原、朝那、临泾（移今镇原县治）、华亭7县。恭帝义宁二年（618）复置灵台县，与鹑觚县同属麟州。安定郡改为泾州，良原县属之。今崇信县境分属于阴槃县与良原县。平凉县属原州。

开皇初省阿阳入成纪，至大业三年仍属秦州，废秦州后复隶属于天水郡；今庄浪县境分辖于成纪县和陇城县（原略阳郡属地）。

唐初，改郡为州。太宗即位后，全国划为10道。今地区辖境多属于关内道。今平凉县和崇信县境偏北部分属原州；阴槃、安定、良原属泾州；今崇信境多分属阴槃和良原。华亭属陇州，成纪属秦州，今静宁北部及庄浪一部分辟为牧地，属南监牧使管辖。

贞观元年（627），灵台省入麟游，属岐州，麟州废；鹑觚县划属泾州。朝那县在此前后省并入安定和临泾。贞观二年析新平（今陕西彬县境）、安定、鹑觚3县各一部复置宜禄县，属泾州；以华亭改属陇州。武则天垂拱二年（686）改华亭为亭川县，至中宗神龙元年（705）复改为华亭县。

唐玄宗开元二十二年（734）四月，以朔方节度使兼关内道和采访处置使，增领泾、原等12州。

玄宗天宝元年（742）改州为郡。今地区辖境改为安定郡，原州（治高平）改为平凉郡。灵台县从麟游析出复置；废鹑觚县，其境并入灵台县。改阴槃县为潘原县，皆隶属于安定郡。

肃宗至德元年（756），改安定县为保定县，仍属安定郡。乾元元年（758）改安定郡为保定郡，随后改郡为州，原属县未变。乾元二年六月，泾州属彬宁节度使。此后取消郡建制，置州，州以上道由监察机构变为地方最高一级行政单位。

代宗广德元年（763），陇山东、西两侧皆没入吐蕃，但今灵台县境仍属唐管辖，省潘原县并入良原县。大历三年（768），唐收复泾州城，由泾原节度使马麟表置行原州于灵台县百里城。德宗贞元四年（788），恢复平凉县建制，筑崇信城，置崇信军，十一年（795）又复置潘原县于原治。贞元十九年（803），将侨置于灵台县百里城的行原州移至平凉城。宪宗元和三年（808），又将行原州移至临泾（今镇原县），华亭并入汧源县。元和四年，置行渭州于平凉，省平凉县。僖宗广明元年（880），吐蕃再次攻占平凉城。中和四年（884），行渭州改称渭州，仍治平凉。

至唐末，今地区辖境原泾原军节度改为彰义军节度，辖泾州、渭州、武州（从今武都境徙治潘原，即今四十里铺镇曹湾），县制有良原、灵台和保定，皆属泾州。

今静宁、庄浪县境，为吐蕃所据。

后梁太祖开平二年（908），泾州、渭州、武州属岐。

后唐庄宗同光元年（923）置义州于华亭，末帝清泰元年（934），今境多属后唐，今静宁、庄浪境仍为吐蕃所据。清泰二年，以安国、耀武二镇复置平凉县，初属泾州，后晋高祖天福五年（940）改属渭州。后汉时，建制未变。后周时，太祖显德二年（955）复置华亭县，与义州同治一地。显德五年废武州，复置潘原县，改属渭州。渭州领平凉、潘原2县。

五代末，今地区由彰义军节度使统领，辖泾州、渭州、原州、义州；今境内泾州领保定、灵台，渭州领平凉、潘原，义州领华亭。

今静宁、庄浪县境仍为吐蕃等少数民族所据。

宋初，沿旧制，至太宗时，于州上设路。彰义军节度改称彰化军节度。今地区辖境初属秦凤路，至仁宗庆历元年（1041）改属泾原路。

宋太祖乾德元年（963），置崇信县，初属秦凤路凤翔府；乾德二年，割陇山三镇置安化县，治今华亭县之西北（安化县，新修《华亭县志》：“析华亭县西北部置”。对其治所，另有宁夏泾源、庆阳等二说。），属仪州。太宗太平兴国二年（977）改义州为仪州，至淳化年间（990—994），崇信改属仪州。神宗熙宁五年（1072）废仪州，其属县归渭州统辖。

真宗咸平四年（1001）设长武县，治长武寨（今泾川县泾明乡），翌年降县为砦，徽宗大观二年（1108）复升为长武县，属泾州。大中祥符年间，曹玮收复陇山西境，于今静宁城南置静边寨，今庄浪、静宁县境纳入宋之版图。

仁宗庆历三年（1043）置德顺军于陇干城（治今宁夏隆德县西境）。哲宗元祐八年（1093），德顺军移至外底堡（今静宁县城），并置陇干县。

泾州，初领保定、灵台、良原3县，后亦辖长武。

渭州，初领平凉、潘原2县。

仪州，原领华亭、安化、崇信3县，仪州废后划归渭州统辖。

北宋后期，渭州领平凉、潘原、华亭、崇信、安化5县。泾州领有保定、灵台、良原、长武4县。至徽宗政和七年（1117），上述州县，皆隶属于以渭州升格的平凉军节度。至此，今静宁、庄浪境与今平凉、泾川、华亭、崇信、灵台成为一个政区。

金设路、郡、县三级，郡一级包括府、州、节镇等，而在平凉曾设元帅府和行省；陇山以东由凤翔路和庆原路统辖，陇山以西则属德顺州。

太宗天会九年（1131）改渭州为平凉府。熙宗天眷二年（1139）复改称渭州，世宗大定二十七年（1187）升渭州为平凉府，治平凉，属凤翔路，辖平凉、潘原、崇信、华亭、化平（即前所记安化）5县。

泾州，初治保定，世宗大定七年（1167），改保定为泾川。宣宗元光二年（1223），泾州徙治长武（今泾川县泾明乡），属庆原路，辖泾川、长武、良原、灵台4县。

皇统二年（1142），升德顺军为州，同年升水洛（今庄浪县境）、治平、威戎、通边4寨为县。

州治陇干（今静宁），辖陇干、水洛、威戎、通边、治平、隆德6县。

海陵王天德二年（1150）置陕西西路转运司和陕西东路及西路提刑司于平凉，宣宗兴定三年（1219）置陕西西路行省于平凉，此乃历史上在平凉设置的最高行政军事领导机构。

元初，泾州属都元帅府（曾在泾州设总司，兼辖邠州），后改属巩昌都总帅府，世祖至元后期改属陕西行中书省。

泾州初辖泾川（原长武县并入泾川）、灵台、良原3县，至元七年并灵台县入泾川县，至元十一年又析出复置灵台县，同时将良原县并入灵台县。

平凉府辖平凉（原潘原县并入平凉）、华亭（原由安化县改称的化平县并入华亭）、崇信3县。

蒙古太宗二年（1230），

在今庄浪县境设庄浪路，其辖境位于巩昌府辖区原通边、威戎属地，不领州县，隶属于甘肃行中书省。

至元二十六年（1289），改属陕西省。翌年，泾州为直隶州。

成宗大德八年（1304），庄浪路降为庄浪州。原水洛、治平县于元初复并入陇干县。同年后期又并陇干于德顺州，不久又改德顺州为静宁州，辖原静边寨和水洛、治平、隆德3县，隶属于陕西行省巩昌路。

明初，仍袭元行省制。洪武二年（1369）始置陕西等处行中书省，九年（1376）废省设承宣布政使司，平凉府属陕西布政使司，同年降原州（今镇原）、开成州（今固原）为县，隶属于平凉府。

洪武三年省泾川县入泾州。

洪武八年降庄浪州为县，属静宁州。孝宗弘治十五年（1502），升开成县为固原州。嘉靖三十九年（1560），平凉府辖3州7县，即泾州、静宁州、固原州及平凉、华亭、崇信、镇原、隆德、灵台（属泾州）、庄浪县（属静宁州）。

平凉县城内有明初所置陕西行太仆寺和陕西苑马寺。另有韩王府。

清初沿明制。康熙三年（1664），废陕西行太仆寺和陕西苑马寺。同年，设陕西左、右布政使司。六年（1667）改名为巩昌布政使司（治今陇西县城），七年（1668）改称甘肃布政使司，移治兰州。八年（1669），平凉改属甘肃。

乾隆四十二年（1777），升泾州为直隶州，领灵台、崇信、镇原3县。次年，将庄浪县省入隆德县。平凉府领有固原、静宁2州及平凉、华亭、隆德3县。

清顺治三年（1646），曾置平（平凉）庆（庆阳）兵备道，治平凉，后移治固原。康熙二年（1663）易名为平庆道；咸丰九年（1859），改为分巡平庆泾固道，辖平凉、庆阳2府、泾州直隶州和固原州、静宁州（系“散州”）及平凉、华亭、隆德、崇信、灵台、镇原6县（庆阳府所辖县从略）。同治八年（1869），改称平庆泾固化盐法兵备道。同治十年（1871），析平凉、固原、华亭、隆德所属边地，置化平川直隶厅；光绪三十三年（1907），易名为分巡平庆泾固化道，所辖府、州、县未变。

中华民国2年（1913），改分巡平庆泾固化道为陇东道，时领17县，裁府，州皆改为县，并复置庄浪县。

3年（1914），改陇东道为泾原道，治平凉，辖平凉、静宁、隆德、庄浪、泾川、华亭、崇信、灵台、化平、庆阳、镇原、正宁、宁县、合水、环县、固原、海原17县。16年（1927）废道置行政区，次年撤销，改为省、县两级制。20年（1931）甘肃省政府厘定一、二、三等县，平凉、静宁、泾川、灵台为二等县，华亭、崇信、庄浪为三等县。23年（1934），设平凉行政督察区，辖平凉、泾川、灵台、华亭、崇信、静宁、庄浪、隆德、化平、固原、海原11县。25年（1936）7月，平凉行政督察区改称第二行政督察区；同时，将灵台县、泾川县改属第三行政督察区（治西峰）。30年（1941），省政府为实行新县制，重新调整各县等级，今地区辖境平凉县为一等县，静宁、泾川为三等县，灵台为四等县，华亭、庄浪、崇信为五等县。32年（1943）增设西吉县。36年（1947）2月，甘肃省政府再次厘定县等级，平凉仍为一等县，泾川为二等县，庄浪、静宁、灵台为三等县，华亭为四等县，崇信为五等县。

1949年7月26日，经中共中央西北局批准，在华池县悦乐镇置平凉分区，8月3日徙治平凉县，辖平凉、华亭、灵台、泾川、崇信、静宁、庄浪、固原、西吉、海原、隆德、化平12县。8月6日，静宁、西吉、海原划归定西分区。

1950年2月，以原平凉县城区辖境设平凉市，平凉县另列。5月25日，静宁、海原、西吉3县由定西分区划归平凉分区，庄浪县划归天水分区。10月18日，化平县改名泾源县。

1951年4月，平凉分区更名为平凉区。

1953年5月11日泾源县改为泾源回族自治区（1955年3月24日改为泾源回族自治县）；6月14日，平凉市改为（省）直辖市仍由专署监督领导；同年10月29日，西吉、海原、固原从平凉析出另成立甘肃省西海固回族自治区（专区级）。

1955年，实行省、县二级制，改设专区，作为省政府派出机关。同年10月10日，庆阳专区并入平凉专区。全区辖平凉市及平凉、华亭、泾川、灵台、崇信、静宁、隆德、泾源、庆阳、镇原、宁县、正宁、合水、环县、华池16个县（市）。

1956年1月，庄浪县划归平凉专区。

1958年3月，隆德、泾源县划归宁夏回族自治区；4月4日，崇信县并入华亭县；12月20日，庄浪县并入静宁县，灵台县并入泾川县；撤华亭县，其境分别划属平凉市和泾川县，平凉县并入平凉市。

1961年11月25日，恢复庆阳专区，原所辖7县一并从平凉专区析出。12月15日，恢复华亭、灵台、庄浪和崇信县建制；

1964年6月5日，平凉市改为平凉县。

1969年10月1日，改专区为地区。

1983年7月，撤销平凉县，恢复平凉市。至此，平凉地区辖平凉、华亭、泾川、灵台、崇信、静宁、庄浪7县（市）。

2002年6月，撤销平凉地区和县级平凉市，设正地级平凉市和县级崆峒区。