面向数据质量的ETL框架的设计与实现

作者：李庆阳; 彭宏

来源：计算机工程与设计, 2010, 31(09): 2057-2060.

DOI：10.16208/j.issn1000-7024.2010.09.022

• 数据仓库
• 数据质量
• 抽取-转换-装载(ETL)
• 规则推导
• 数据清洗 data warehouse
• data quality
• extract-transform-load (ETL)
• rule deduction
• data cleaning

针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构。根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等。该架构以数据质量为核心,通过建立数据分析模型,利用规则推导引擎对数据分析结果生成数据清洗方案,从而有效地对数据流进行质量评估和管理。基于该设计思想开发一个ETL工具-DQETL。DQETL采用统一建模语言进行设计,并提供友好界面对ETL过程进行集中管理。最后,结合实例阐述了在该框架下进行数据质量管理的一般步骤。

• 出版日期2010
• 单位华南理工大学