远在四万年前，榆树境内就有人类活动。

公元前11世纪至公元493年（北魏太和17年）这时的榆树为肃慎、夫余国故地。肃慎族即后来的女真族，历经演变，最后为满族。

公元前220年前，榆树仍然是氏族公社的延续。

北魏时，榆树属夫余国伯嘟部，伯嘟即以后的伯都。

隋朝时，榆树属于伯咄靺鞨。靺鞨为女真的一个部落。

唐代时，公元698年，榆树属渤海国扶余府（今农安）。

宋、辽、金时，榆树先后为辽、金属地。

公元926年，辽灭渤海国后，建立东丹国，这时榆树为辽的东丹国东京道宁江州。

公元1115年，榆树为金国的上京肇州路。

元代时，榆树属于辽阳省开原路屯田万户府。

明代时属三岔河卫。

清代初年，榆树为皇家封禁之地，位于柳条边外。

康熙二十二年（1683年），榆树地域归伯都讷副督统（在伯都讷城）管辖。

雍正五年（1727年），榆树隶属于盛京奉天府长宁县。

乾隆元年（1736年），撤长宁县，榆树归属永吉州（吉林），后改为吉林厅。

嘉庆十六年（1811年）设伯都讷厅，置理事同知，驻伯都讷城。

道光五年（1825年），伯都讷屯田开始实施。

光绪八年（1882年），榆树成为伯都讷厅首府。

光绪三十二年（1906年），伯都讷升府（新城府），榆扶分治，在孤榆树屯设立榆树县，隶于新城府。

宣统元年（1909年），榆树县改为榆树直隶厅，隶属于吉林省西北路分巡兵备道。

民国二年（1913年），榆树直隶厅改为榆树县，隶属于吉林省滨江道。

沦陷时期为榆树县，隶吉林省。在经过14年的日伪统治之后，榆树于1945年12月27日获得解放。

解放后为榆树县，隶吉林省。

1990年12月26日，榆树县更名为榆树市，为省辖市，由长春市代管。