历史上青山境域隶属变迁频繁。西周时期为鄂国领地，周夷王时一度属楚；秦统一中国后为南郡辖地；汉高祖六年（公元前 201 年）属江夏郡沙羡县；东晋太元三年（公元 378 年）改沙羡县为汝南县，属之；隋开皇九年（公元 589 年）改汝南县为江夏县。清康熙《江夏县志·疆土篇》记载：在县东北二十五里，尾亘长湖，首枕大山，山下有矶，曰青山，又有青山口、青山铺、青山矶之称。民国元年（ 1912 年）改江夏县为武吕县，青山境域先后为其第八区、六区、五区。民国 38 年（ 1949 年） 6 月，武吕县全境解放，青山境域为县辖二区、九区。 1951 年 12 月，首建武汉市青山区， 1952 年 6 月因故撤区； 1955 年 2 月再次建区至今。
