汉景帝中元六年（前144年），梁王武薨，其封国梁国一分为五。景帝封梁王武之子刘定为山阳王，分梁国东部数县置山阳国，国都为昌邑县(县治在今山东省巨野县大谢集镇前昌邑村)。

汉武帝建元五年（前136年），刘定薨，山阳国除为郡。

元朔三年（前126年），鲁王子侯国瑕丘、宁阳来属。

天汉四年（前97年），封皇子刘髆为昌邑王，以山阳郡置昌邑国，瑕丘、宁阳别属大河郡。属兖州刺史部。

汉昭帝元平元年（前74年），昌邑国除为山阳郡。

甘露二年（前52年），改大河郡为东平国，瑕丘侯国别属山阳郡。

建昭五年（前34年），徙济阳王刘康为山阳王，复置山阳国。后废为山阳郡。

王莽新朝时期(公元8年-公元23年)，改山阳郡为巨野郡，以巨野县城为治所。

东汉初，山阳郡为刘永所据。

建武十五年（39年），封皇子刘荆为山阳公，十七年晋爵为山阳王。

永平元年（58年），徙刘荆为广陵王，山阳国除为郡。

建安十七年（212年），封皇子刘懿为山阳王。

黄初元年（220年），魏受禅，山阳国除为郡。封汉献帝为山阳公。

晋泰始元年（265年），以山阳郡置高平国，仍治昌邑县。

南朝宋、北魏置高平郡，移治高平县(县治在今山东省邹城市西南的巨野县一带)。

隋初，郡废。

。