充值信息

赞助信息

推荐给好友 上一篇 | 下一篇

多维模型数据集市在油矿探勘中的应用与研究



    数据集市(Data Marts)可以理解为一个小型的部门或工作组级别的数据仓库。数据仓库通常是企业级应用,因此涉及的范围和投人的成本非常巨大,许多企业无力承担。数据集市在某些场合比数据仓库更为简洁、方便和快速的实施。因而,他们希望在最需要的关键部门建立一种适合自身应用的、自行定制的部门数据仓库子集。正是这种需求使数据集市应运而生。在采油生产过程中,OLTP和遗留系统里有各种数据,建立数据集市,可以提高采收率,更好地了解生产情况。本文以油矿勘探为实际工程背景,探讨油矿勘探数据集市的创建过程。

1 数据集市的构建

    1.1 数据集市

    数据集市是数据仓库的一种特殊形式,典型的数据集市包含面向专门主题的、适合特定业务功能的企业数据子集。如果数据仓库是建立在企业级的数据模型之上,那么数据集市就是企业级数据仓库的一个子集,他主要面向部门级业务,并且只面向某个特定的主题。数据集市可以在一定程度上缓解访问数据仓库的瓶颈问题。

    1.2 数据集市构建技术

    企业可以根据部门业务数据分析和决策需要,创建数据集市。有2种方法可以为企业创建数据集市。一种方法是可以先开发并实现中央数据仓库,然后再创建数据集市。Bill Inmon将数据仓库定义为“一个面向主题的、集成的、随时间变化的、非易变的用于支持管理的决策过程的数据集合”。Inmon通过“面向主题”表示应该围绕主题组织数据仓库中的数据,例如客户、供应商、产品等。每个主题区域仅包含该主题相关的信息。数据仓库应该一次增加一个主题,并且当需要访问多个主题时,应该创建以数据仓库为来源的数据集市。换而言之,某个特定数据集市中的所有数据都应该来自于面向主题的数据存储。如图1所示。另一种方法是,必须进行集中设计以便单位的所有数据仓库信息都保持一致和可用。Ralph Kimball说“数据仓库仅是构成他的数据集市的联合”。他认为“可以通过一系列维数相同的数据集市递增地构建数据仓库”。每个数据集市将联合多个数据源来满足特定的业务需求。如图2所示。


图1 Inmon的方法


图2 Kimball的方法


    选择哪种方法取决于项目的主要商业驱动。在油矿勘探分析中迫切需要为之提供信息,使之摆脱糟糕的数据管理和不一致的数据的局面,为使企业尽快看到结果,在这里采用Kimaball的思想。

2 在油矿勘探中的应用

    2.1 构建步骤

    在本例中采用Ralph Kimball的思想,先在有把握的范围内实施一个小范围的数据集市,而后可以逐步增加不同的集市,逐步完善数据仓库作为企业数据中心的功能。构建数据集市过程如下:

    (1)分析部门业务,明确需求和选定主题,创建数据集市的多维模型。多维模型降低了范式化,以分析主题为基本框架来组织数据,支持高性能的数据访问。每一个多维数据模型由多个多维数据模式表示,每一个多维数据模式都是由一个事实表和一组维表组成的。事实表包含了要度量的信息,比如产油量和产水量。维表包含了关于将要度量的信息的属性,比如日期、井的信息和作业单位描述信息。多维模型最常见的是星型模式。在星型模式中,事实表居中,多个维表呈辐射状分布于其四周,并与事实表连接。

    (2)选择数据源。数据集市的主要信息来源就是原先的遗留系统和OLTP系统。应该从中选择最可信和最关键的来源,或者创建一个合并了可信文件的新文件。然后应将选择的数据用于所有将来的数据集市。

    (3)数据登台。即提取、转换、装载和作业控制。从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的模型,将数据加载到数据集市中去。整个过程可通过一个元数据驱动的独自作业控制环境进行管理。

    (4)数据显示和数据分析。建立数据集市的目的是分析其数据,从中挖掘出有价值的信息。OLAP是数据仓库领域中应用最广,技术最成熟的分析方法。微软推荐的前端展现是proclarity(普科桌面分析专家),而Microsoft Excel就有查询分析数据的功能。

21/212>


 

评分:0

我来说两句