中国非金属矿业管理大体可分四个阶段。
第一阶段为新中国成立至1956年。中国非金属矿产资源找矿勘探工作主要由地质部负责,非金属矿山的开采生产则由当时的重工业部负责。重工业部下设建材工业局、化学工业局等有小规模的地质队伍,仅负责系统内部矿山地质及原材料基地的普查工作。
第二阶段为1956年至1966年。1956年国家机构进行重组调整,成立了建材工业部、化学工业部和冶金工业部等工业部门,并在几个工业部门内成立了地质局或地质司,负责各部门各有关矿产的勘查工作。1958年,上述几个工业部门的地质勘探队伍大部分并入地质部。同年,建筑材料工业部与建筑工程部合并为建筑工程部。1960年原属于各工业部门的地质队伍又从地质部重新划归各工业部门主管。建筑工程部分管水泥、玻璃、陶瓷等建筑材料和石膏、石墨、高岭土、石棉、云母、滑石、金刚石、蓝石棉、水晶等九大非金属矿的开采生产。化学工业部负责硫、磷、钾盐、硼等的开采生产。冶金工业部负责萤石、菱镁矿、耐火粘土等的开采生产。轻工业部管理盐业生产。
第三阶段为1966年至1978年。正值文革期间国家机构经历了多次调整、变动。1970年,国家撤销了化学工业部,将化学工业部与原煤炭工业部、石油工业部合并,组建燃料化学工业部,化工矿山企业全部下放给地方。建工部也经历了多次较大的组织变动。地质部撤销,改设国家计委地质局。
第四阶段为1978年至1997年。党的十一届三中全会以后,中国非金属矿业的生产和管理工作开始恢复正常。地质部(后改为地质矿产部)负责非金属矿产资源的主要地质勘查工作和行政管理,化工原料非金属矿产部分地质勘查和矿业行业归口化学工业部管理,冶金辅助原料矿产的部分地质勘查与矿业行业归属冶金工业部管理,盐业由轻工业部(后改为中国轻工总会)管理,建材与其他非金属矿产的部分地质勘查和行业由1985年组建的国家经济委员会管理下的国家建材局管理;1994年国务院确定国家建材局为国家经济贸易委员会管理的国家局,成为管理全国建材行业(包括建筑材料、非金属矿和无机非金属新材料)的职能机构。
1998年3月根据第九届全国人民代表大会第一次会议批准的国务院机构改革方案,撤销了化学工业部、冶金工业部、地质矿产部、中国轻工总会等,新组建了国土资源部和由国家经济贸易委员会管理的国家冶金工业局、国家石油和化学工业局、国家轻工业局和国家建材工业局等。原地质矿产部、冶金工业部、化学工业部等的矿产资源行政管理职能划入国土资源部;冶金辅助原料矿业由国家冶金工业局管理;化工原料非金属矿业由国家石油和化学工业局管理;盐业由国家轻工业局管理;建材和其他非金属矿业由国家建材工业局管理。