充值信息

赞助信息

推荐给好友 上一篇 | 下一篇

BlueQuery在金融行业的应用



一、前言

公司简介:

广州尚南科技有限公司成立于2000年,主营业务为商业智能产品研发,是国内少有的纯产品研发公司,旗舰产品包括Word Report、数据录入平台、中国OLAP…,产品以全球独有的创新技术赢得各行各业客户的赞赏,成功的客户包括政府(广州市国土资源和房屋管理局)、保险(广东省社会保险基金管理中心)、金融(深圳金融电子结算中心)、医疗(广东省医)、企业(广东美的制冷家电集团)、通讯(中国电信)、教育(人民大学)、交通业(南航航空)等等。

经过8年艰苦奋斗,累积点点滴滴经验,在2006年被中国商业智能网评为最佳商业智能产品平台供应商、最佳报表工具供应商,获此殊荣在于产品功能多、齐、全,主体包括:

产品简介:

1. 特别针对中国政府与企业复杂统计类型报表而设计的固定报表(与Excel无缝结合);

2. 类Crystal Report动态报表而在制作报表中90%以上不用编程;

3. OLAP多维分析3分钟内完成制作;

4. 类Brio EIS仪表盘经理, 用户能采用第四代开发语言,通过虚拟站点编程;

5. 类DataStage建立数据仓库的ETL;

6. 独创用Word做报表的Word Report;

7. 类SAS预测分析数据挖掘功能,并于2005年成立亚太地区数据分析预测研究中心;

8. 类Flash互动展示平台;

9. 独创数据录入平台, 扩展了商业智能没有的数据录入、校验功能,延伸了商业智能原有的定义内容;

10. 海量数据处理技术比Microsoft DTS转换数据快16倍,在后台循环取数比Oracle JDBC快8倍以上;

11. 类Visual Source Safe开发控制与版本管理功能;

客户公司简介:

中国银行东莞分行:中国银行,全称中国银行股份有限公司,是中国四大国有商业银行之一。业务范围涵盖商业银行、投资银行和保险领域,旗下有中银香港、中银国际、中银保险等控股金融机构,在全球范围内为个人和公司客户提供全面和优质的金融服务。按核心资本计算,2005年中国银行在英国《银行家》杂志“世界1000家大银行”排名中列第十八位。

公司规模:1949年,中国银行成为国家指定的外汇外贸专业银行,为国家经济建设和社会发展作出了巨大贡献。1994年随着金融体制改革的深化,中国银行成为国有独资商业银行,与其它三家国有独资商业银行一道成为国家金融业的支柱。

中国银行是中国国际化程度最高的商业银行。1929年,中国银行在伦敦设立中国金融业第一家海外分行。此后在世界各大金融中心相继开设分支机构,目前拥有遍布全球27个国家和地区的机构网络,其中境内机构共计11,307个,境外机构共计603个。1994年和1995年,中国银行先后成为香港地区、澳门地区发钞银行。中国银行在国内同业中率先引进国际管理技术人才和经营理念,不断向国际化一流大银行的目标迈进。

信息化现状:

二、BI需求及解决方案

需求:

1.集成性

让银行分行快速查找远端总行的Flat File数据(因安全理由,在总行无需另行安装系统下,实现查取数据)

基于FTP文件做远端查询

在WEB服务器端不用安装系统下,自动通过Common代码中的FTP账号登录FTP服务器,下载文件,然后基于下载的临时文件查询出结果。好处简单、易用、快速,分公司能快速查找远端总行的Flat File数据。

解决方案:

a. 附加通用功能QueryFRomFTP是基于远程FTP文本文件做查询的例子,输入远程文件路径,即可出结果(自动通过Common代码中的FTP账号登录FTP服务器,下载文件,然后基于下载的临时文件查询出结果)

b. 也可以把该查询放到$/Template/Dataset下,作为查询模板,基于该模板做出的查询就具备了FTP功能。

c. 之所以把代码放在Common中,是为了重用。

2. 扩展性

前端数据校验技术

目前码表主要来源于两种格式的文件:Excel和文本文件,Excel中的数据通过BQ的"基于Excel做查询"和ETL功能,可轻松导入到数据库。但后者是非标准文本数据文件(Tabbed Text、CSV等),一般通用产品都无法处理,只能手工规范格式,去处非法数据后才能处理。如果是一次性工作问题不大,但如果是经常性的工作,这样就很麻烦,并且增加了手工操作出错的风险。

解决方案:

a. BQ新版本增加了处理该类非标准格式文本数据的通用方案,能自动识别数据正确处理。

这需要排除首尾几行额外的数据,在BQ新版本中增加了对该类型文本数据的处理,可以选择文本文件的开始行和结束行,对于码表的数据,可以选择以中部数据(中部的数据肯定是正式数据了)为基准,自动检测数据的开始行和结束行。如下图:

刷新该查询,即可将数据导入并生成数据集。每列的数据类型会按前100行为基准自动检测,但也可指定每列数据类型,如手机号码,自动检测为数字型,可指定为文本型。

通过BQ的ETL功能,可将数据集数据导入到Oracle、SQL Server等各种关系数据库。

b.代码表(CSV)数据的修改与变动处理

当码表项目改变后,需要同步更新到数据库。BQ ETL能自动产生更新脚本,可将该脚本加入任务计划,定时更新,也可运行该脚本马上更新。只需将改变后的文本或Excel文件拷贝到指定的目录就可以了。

c. 数据的导入与校验 (让客户自行定义校验规则)

各地报考数据以与码表相同的文本格式上报,由NEEA经校验后加载到一个统一的数据库,如有非法数据,则需要逐行挑出,生成错误报告,返回上报地要求校核重报。传统做法是通过编程对数据进行逐一校验,编程工作量很大且不易维护。

利用BQ的动态代码与表达式技术,很容易做出一个支持自定义校验规则的模板,只需写出校验表达式,即可进行数据校验,一般的通用校验(通过VB函数和表达式能做到的校验)就不用编程,部分复杂校验(如身份证合法性校验)只需在_global_脚本中提供一个校验函数也就可以了,将编程工作量减到最小,而且非常容易维护。BQ既是一个功能强大而易用的BI产品,也是一个开发平台,可自定义或开发界面,也可编程,编程语言语法兼容VB。

配合BQ的动态文书功能,按预定的模板,可以自动生成错误报告或下发通知,如:

d. 批量数据的导入与校验

在模板中提供了批量数据导入与校验功能,指定一个目录位置,即可检索出该目录下的报考信息,并从代码表检索出地区中文信息,显示地区名方便选择处理。文件名按:BMxxyyy.txt / KSxxyyy.txt格式,xx为地区代码,yyy为年份与考次。按"批量处理所有文件",能对所有文件进行数据校验、聚合(生成中间表)、加载到数据库,并按地区逐个生成错误数据报告。




 

评分:0

我来说两句