历史上青山境域隶属变迁频繁。西周时期为鄂国领

地，周夷王时一度属楚；秦统一中国后为南郡辖地；汉高祖六年（公元前201年）属江夏郡沙羡县；东晋太元三年（公元378年）改沙羡县为汝南县，属之；隋开皇九年（公元589 年）改汝南县为江夏县。

清康熙《江夏县志·疆土篇》记载：在县东北二十五里，尾亘长湖，首枕大山，山下有矶，曰青山，又有青山口、青山铺、青山矶之称。

民国元年（1912年）改江夏县为武昌县，青山境域先后为其第八区、六区、五区。

民国38年（1949年）6月，武昌县全境解放，青山境域为县辖二区、九区。

1951年12月，首建武汉市青山区，1952年6月因故撤区；1955年2月再次建区至今。