汶上县境内约在15000年前，即有华夏先民在此繁衍聚居。位于城东3千米的东贾柏遗址，是济宁境内已发现的最早的新石器时代人类文化遗址，距今约7000年左右，是北辛文化的重要代表，属于原始社会母系氏族公社的发展阶段。

至商代，境内置厥国。周代，先后置郕国，中都邑、阚邑，周武王封同母弟叔武于郕，公元前501年，鲁“定公以孔子为中都宰“。战国时，齐置平陆邑。

秦统一中国，行郡县制，县境内约分属薛郡的张县（治邑在今东平县霍庄）、无盐县（治邑在今东平县无盐村）。

汉宣帝甘露二年（前52年）前后，境内始置东平陆县，隶属兖州东平国。此为汶上建县之始。

三国魏晋，今县境统属兖州东平国（郡）东平陆县。南朝时改称平陆县、乐平县。隋初仍称平陆县。

唐天宝元年（742）三月，改称中都县，移县城于今治。

金贞元元年（1153年）更名汶阳县。金泰和八年（1208年），取”汶水在上（北）”之意，更名汶上县，此为“汶上”专用地名之始，沿用至今。

明万历年间，汶上境域，北至东平界沙河站张村，东至宁阳县界西梳村，南至济宁州界康庄驿，西至郓城县界肖皮口，西北至安山西面的张博士集（今属梁山县），西南至孟姑集以西申家海（今属嘉祥县），东南至南唐阳，东北至琵琶山。最大横距75公里，最大纵距35公里。此县界明清时稳定时间较长，境域也较大，约为今县境的2.5倍。

民国时期，汶上县面积1380平方公里，为山东省较大县之一，曾有“一滕二曹三汶上”之说。