阜新市名源于清光绪二十九年（1903年）在此地设置的阜新县。其含意有二说。一说是“山阜日新”，一说是“物阜民丰，焕然一新”，当为此地物产丰富、人民逐年兴吐之意。

1940年置市时，以此得名。

拥有悠久的历史和原始文明。早在7600年前人类就在这里生息繁衍，因出土“世界第一玉”和“华夏第一龙”，被国内外考古学界称誉为“玉龙故乡”，坐落在境内的查海古人类遗址，被誉为“中华第一村”。中国著名考古学家、已故的中国社会科学院考古研究所所长苏秉琦先生，亲笔为查海文化遗址提词：“玉龙故乡，文明发端”。

西周和东周春秋时期，今阜新市属幽州地域，有山戎、东胡人活动于此。

东周战国时期，燕长城横贯今阜新境内，燕长城以北仍属东胡，南部介于燕国辽西、辽东两郡之间。

秦代，今阜新市为秦地，分属辽东、辽西郡。在燕长城以北处为东胡族辖地。秦二世二年（公元前208年）匈奴大败东胡，今阜新市属匈奴左地。

西汉，今阜新市属于汉王朝的幽州刺史部，仍为匈奴左地。汉武帝元狩四年（公元前119年）汉王朝打败匈奴，今阜新市属乌桓地。

东汉，今阜新市南部属汉王朝的幽州刺史部，北部为东部鲜卑游牧地。

三国，今阜新市北部属东部鲜卑（东接扶余，西邻拓跋鲜卑），南部属魏地。

西晋，泰始十年（274年），今阜新市北部属鲜卑慕容部，南部、西南部属西晋平州昌黎郡。太康十年（289年）慕容归附于晋，拜为鲜卑都督，今阜新市全境均属慕容部管辖。

东晋十六国，今阜新市先后为前燕、前秦、后燕、北燕等几个更替的割据政权占据。

东晋成康元年（335年）时，今阜新市大部属前燕昌黎郡，北部小部分（今彰武最北部）地区属契丹辖地。前秦时，今阜新市大部为前秦昌黎郡平州辖境，北部地区为契丹辖地。后燕时，今阜新市北部属契丹辖地，南部为后燕昌黎郡所辖。北燕时，今阜新市南部为平州辖地，北部为契丹所辖。

南北朝北魏太和三年（479年），契丹族臣附于北魏，并向南徙，今阜新市逐渐为契丹驻牧地。南北朝170年间，今阜新市为契丹辖地。

隋代今阜新市北部为契丹辖地，南部属隋王朝的燕郡（郡治今义县）。

唐代唐灭隋后改郡称州。唐太宗贞观初，今阜新市北部（今阜新蒙古族自治县北部及彰武县境）属契丹辖地；南部属唐河北道北部的营州（州治在今朝阳市）。贞观二十二年（648年），唐朝在契丹驻牧地区设置松漠都督府（府治在今内蒙古自治区翁牛特旗西北部）。今阜新市北部为松漠都督府辖，南部仍属营州。

辽初，今阜新市属上京道。

在整个北宋、辽南北对峙时期（960一1127年），今阜新地区一直属辽国辖境。辽将在战争中俘获的大批汉人、渤海人迁入本地，作为奴隶分给契丹贵族，令他们筑城。这种贵族领地城邑叫“头下军州”，系契丹贵族的私人州城。辽代这样的头下军州置于今阜新地区的有徽州、成州、懿州、欢州、壕州、渭州、顺州等。在这些城址中，成州是辽圣宗耶律隆绪的二女儿晋国长公主岩母茧的私城，建于辽太平元年（公元1021年），遗址在今阜新蒙古族自治县红帽子村境内。懿州是辽圣宗三女燕国长公主槊古的私城，建于辽太平三年（公元1023年）。

元初，境内设懿州路。元世祖至元六（1269年）十二月设东京总管府，将懿州路降为东京支郡。其所领的埭州、灵山县、同昌县并入顺安县，后废顺安县并入懿州。故金、元懿州同为一地。至元十七年（1280年）懿州又改属辽阳路。至顺元年（1330年），今阜新市北部一部分（今彰武县一部分）在中书省宁昌路辖境（治所在今法库、彰武两县之间）；今阜新市南境为广宁府路辖地；中间大部分地区属辽阳行省辽阳路（治所在今辽阳市）。境内有懿州、豪州等建制，并有洪州、驿安等驿站。至正二年（1242年）正月，复升懿州为路，并划大宁路辖的兴中州和义州归懿州路辖。懿州在元代成为政治、军事重镇，辽阳行省在至元、皇庆和至正年间三次从辽阳移治懿州。

明洪武二十六年（1393年），在今阜新市境内的懿州设广宁后屯卫，隶属辽东都指挥使司，辖广宁以北大片地区（含今阜新市全境）。同年，明朝又在境内西北部设营州左屯卫，隶属北平都指挥使司。永乐元年（1403年），营州左屯卫迁治顺义县（今北京顺义县）。永乐八年（1410年）广宁后屯卫迁治义州（今义县）。明正统、景泰年间，今阜新县境地属泰宁卫；今彰武县境地属福余卫。

后金天聪三年（1629年），蒙古兀良哈部落的首领善巴率部归顺后金。天聪九年（1635年），皇太极诏编所部佐领，善巴任札萨克，辖阜新地区西部（今阜新蒙古族自治县境）。崇德元年（1636年），后金改国号为清，清封善巴为达尔汉镇国公。崇德二年（1637年），在今阜新蒙古族自治县境内建土。默特左翼旗，后隶属于卓索图盟。土默特左翼旗的疆域：东至乐阳河（今绕阳河），西与土默特右翼旗（今朝阳、北票）交界，南至柳条边墙，北至库昆河（今北大河）。

顺治初，清廷在今彰武县境置官牧场，名杨柽木牧场，属盛京礼部。清廷将牛、羊以“苏鲁克”制给牧民放牧，故亦称苏鲁克牧场。牧场设总管，兼管地方行政。

清康熙三十一年（1692年），科尔沁左翼旗宾图郡王及土默特左翼旗贝勒奉旨献部分旗地为三陵（永陵、福陵、昭陵）牧养地，苏鲁克牧场疆域扩大，并改名为养息牧场。养息牧场成为盛京三大牧场之一。牧场大致走向是：北以库伦旗为邻，南以边墙与新民县相隔，东邻科尔沁宾图王辖地（以今石椿子、黄花甸、蓝家窝堡一线为界），西以绕阳河、苏巴尔哈河与土默特左旗为邻。乾隆十五年（1750年），经朝廷议准，养息牧场总管改由盛京将军管辖。从清初到嘉庆年间的150多年，养息牧场颇为兴盛。至嘉庆九年（1804年），养息牧场已有蒙古牧民3530人。嘉庆十八年（1813年），清政府允许在养息牧场试垦。光绪二十二年（1896年）开禁招垦，牧场境内人口骤增，至光绪二十四年（1898年），已有村屯84个。

清乾隆三年（1738年），设塔子沟厅（治所今凌源），位于今阜新蒙古族自治县东北部。乾隆三十九年（1774年），由塔子沟厅析置三座塔厅（治所今朝阳），并于鄂尔土板（今内蒙古自治区奈曼旗青龙山镇）设巡检衙门，管理土默特左旗的汉民事务，实行蒙、汉分治。乾隆四十三年（1778年）改三座塔厅为朝阳县，土默特左旗的汉民事务由朝阳县管理。清光绪二十八年（1902年）六月十五日，清朝廷批复，在养息牧地区设置彰武县，隶新民府，县治设于横道子（今彰武镇）。彰武县因地处清代柳条边彰武台边门外，故以“彰武”命名。

清光绪二十八年（1902年），热河都统锡良上奏清朝廷请在土默特旗境建阜新县。实行县旗并存，蒙汉分治体制。光绪二十九年（1903年）冬，由朝阳县析置阜新县。派王维墉去鄂尔土板试署，阜新县正式建置，管理土默特左翼旗全境及奈曼旗南部、朝哈尔哈、唐图哈拉哈旗部分地域的汉民事务，归朝阳府所辖。阜新县衙设在鄂尔土板（今内蒙古奈曼旗青龙山镇）。以“物阜民丰，焕然一新”语意，取“阜新”二字为县名。清宣统三年（1911年）移县治于水泉（今阜新蒙古族自治县城区街道）。清光绪三十三年（1907年），彰武县为奉天省辖。