1 数据集市的构建
1.1 数据集市
数据集市是数据仓库的一种特殊形式,典型的数据集市包含面向专门主题的、适合特定业务功能的企业数据子集。如果数据仓库是建立在企业级的数据模型之上,那么数据集市就是企业级数据仓库的一个子集,他主要面向部门级业务,并且只面向某个特定的主题。数据集市可以在一定程度上缓解访问数据仓库的瓶颈问题。
1.2 数据集市构建技术
企业可以根据部门业务数据分析和决策需要,创建数据集市。有2种方法可以为企业创建数据集市。一种方法是可以先开发并实现中央数据仓库,然后再创建数据集市。Bill Inmon将数据仓库定义为“一个面向主题的、集成的、随时间变化的、非易变的用于支持管理的决策过程的数据集合”。Inmon通过“面向主题”表示应该围绕主题组织数据仓库中的数据,例如客户、供应商、产品等。每个主题区域仅包含该主题相关的信息。数据仓库应该一次增加一个主题,并且当需要访问多个主题时,应该创建以数据仓库为来源的数据集市。换而言之,某个特定数据集市中的所有数据都应该来自于面向主题的数据存储。如图1所示。另一种方法是,必须进行集中设计以便单位的所有数据仓库信息都保持一致和可用。Ralph Kimball说“数据仓库仅是构成他的数据集市的联合”。他认为“可以通过一系列维数相同的数据集市递增地构建数据仓库”。每个数据集市将联合多个数据源来满足特定的业务需求。如图2所示。
图1 Inmon的方法
图2 Kimball的方法
选择哪种方法取决于项目的主要商业驱动。在油矿勘探分析中迫切需要为之提供信息,使之摆脱糟糕的数据管理和不一致的数据的局面,为使企业尽快看到结果,在这里采用Kimaball的思想。
2 在油矿勘探中的应用
2.1 构建步骤
在本例中采用Ralph Kimball的思想,先在有把握的范围内实施一个小范围的数据集市,而后可以逐步增加不同的集市,逐步完善数据仓库作为企业数据中心的功能。构建数据集市过程如下:
(1)分析部门业务,明确需求和选定主题,创建数据集市的多维模型。多维模型降低了范式化,以分析主题为基本框架来组织数据,支持高性能的数据访问。每一个多维数据模型由多个多维数据模式表示,每一个多维数据模式都是由一个事实表和一组维表组成的。事实表包含了要度量的信息,比如产油量和产水量。维表包含了关于将要度量的信息的属性,比如日期、井的信息和作业单位描述信息。多维模型最常见的是星型模式。在星型模式中,事实表居中,多个维表呈辐射状分布于其四周,并与事实表连接。
(2)选择数据源。数据集市的主要信息来源就是原先的遗留系统和OLTP系统。应该从中选择最可信和最关键的来源,或者创建一个合并了可信文件的新文件。然后应将选择的数据用于所有将来的数据集市。
(3)数据登台。即提取、转换、装载和作业控制。从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的模型,将数据加载到数据集市中去。整个过程可通过一个元数据驱动的独自作业控制环境进行管理。
(4)数据显示和数据分析。建立数据集市的目的是分析其数据,从中挖掘出有价值的信息。OLAP是数据仓库领域中应用最广,技术最成熟的分析方法。微软推荐的前端展现是proclarity(普科桌面分析专家),而Microsoft Excel就有查询分析数据的功能。