夏朝，境内设任国，也称“仍国”。

商朝，境内除任国外，还有奄、厥、卞明等封国。其中，奄曾为商王南庚的都城。盘庚迁都于殷后，奄为商

属国。

西周，境内有任、厥、邾、极、茅、鲁国。其中，鲁乃为周武王灭商后，封其弟周公旦于奄的封国。

东周，境内的任国，春秋时属鲁，战国时属宋又属齐。鲁国于公元前249年为楚所灭。此时，境内的封国还有茅、极、邹、方与、胡陵等。

秦朝，废任国，置任城县、亢父县，属薛郡。曲阜还设有鲁郡。

西汉，景帝中元六年（前144年）改属济东国，武帝元鼎元年（前116年）济东国改为大河郡，宣帝甘露二年（前52年）改为东平国。

东汉，境仍属东平国。章帝元和元年（公元84年），析东平国置任城国（微山县鲁桥镇）。此外，还有鲁国。

三国，魏文帝黄初四年（223年），任城国改为任城郡（微山县鲁桥镇）。境内还置有山阳郡、鲁郡。

西晋，境内置南平阳侯国。晋武帝咸宁三年（277年），又复为任城国。此外，境内还置有高平国、鲁国。

东晋，境内先后为后赵、前燕、前秦、后燕所据，曾置有任城郡、鲁郡、高平郡。

南北朝，境内仍置高平郡。宋永初元年（420年），任城并入亢父县，属高平郡。北魏神龟元年（518年），复置任城郡。

隋朝，境内先后置有高平郡、鲁郡。

唐朝，境内设鲁郡，后又改为济州、又为济阳郡、泰宁军。

宋朝，境内仍置济阳郡、济州。宋徽宗政和八年（1118年），境内的兖州升袭庆府。

金朝，天德二年（1150年），原以巨野为治所的济州迁往境内的任城。

元朝，至元八年（1271年），境内的济州升济宁府。至元十六年（1279年）境内设济宁路，置总管府，领3州7县（州又领9县）。

明朝，洪武元年（1368年），改济宁路为府，仍治任城，领3州12县。洪武十八年（1385年），又改府为州，只领3县。同时，兖州升兖州府，驻滋阳县，领27州县。

清朝，雍正二年（1724年），济宁州升为直隶州，领3县。雍正八年（1730年）改为散州，不领县。乾隆四十一年（1776年），又升为直隶州，仍领3县。当时的兖州府，辖10县；它和济宁直隶州同属兖沂曹济道。

新中国，1949年初济宁降为县级市，改属滕县专区（今滕州市）。

1953年，滕县专区和湖西专区合并为济宁专区，专署驻地济宁市。

1954年10月，济宁市曾改为省辖市，由济宁专署督导。但不久，又改为县级市，仍为专署驻地。

1967年，济宁专区改称为济宁地区。

1983年8月30日，经国务院批准，撤销济宁地区，改置为地级市。