铀矿勘查数据湖分布式存储和计算系统构建

作者:孙远强; 蔡煜琦*; 李晓翠; 孙雨鑫; 金鑫裕
来源:数字技术与应用, 2023, 41(01): 129-135.
DOI:10.19695/j.cnki.cn12-1369.2023.01.40

摘要

<正>本文在梳理和分析当前主流数据湖大数据平台技术体系构成的基础上,根据铀矿勘查数据来源、数据类型、数据结构等特征,选择Postgre SQL(关系型数据库)+Mongo DB(非结构化数据库)+Ceph(存储组件)+Kafka(消息队列)+Spark(计算组件)等搭建铀矿勘查数据湖大数据技术平台。该平台即适用于地震、电磁、重力等体量巨大,又适用于地质图件、钻孔数据、化验分析测试等多源异构数据的存储;Spark计算引擎即可以处理离线数据又可以处理实时流数据的分析,满足钻孔数据分析,物化探数据反演,遥感蚀变提取,成矿预测分析及钻探进尺统计等勘查业务的应用。

全文