充值信息

赞助信息

推荐给好友 上一篇 | 下一篇

Informatic系统组件功能



  

  系统组件功能

  Informatic的功能主要体现在Designer 和Workflow Manager上,其中Designer实现的是对数据抽取的数据转换方式设计,以及效率设计目标等。而在Workflow Manager中再把具体的数据转换方式应用到一个具体的工作任务中,包括目标库、源库的选择,以及一条具体的执行任务的属性设置等等。包括任务的insert、truncate、delete、increment insert等。

  1. Designer

  2   工作区

  在Designer中,涉及到的工作区主要包括有Source Analyzer、Warehouse Designer、Transformation Designer、Mapplet Designer和Mapping Designer。

  其中每个工作区的功能分别介绍:

  Source Analyzer:

  Source Analyzer的功能是实现对源数据库表的设计,可以手工的进行源数据库的设计,一般都是通过从Flat File或者Relation DBMS中导入数据库的表结构。XLS文件结构。

  Warehouse Designer

  用于设计目标数据库库的结构,可以利用手工设计,也可以利用import工具导入导一个warehouse的结构。

  Transformation Designer

  用户设计可重用的transformation组件,这里的组件,在一个folder里面都是可以重用的,而且以shortcut的方式使用。Transformation组件的修改,会直接反映到使用此transformation的mapping中。

  Mpplet

  设计可以重用的多个组件,只要有output组件,可以有input组件,也可以没有input组件,实现的功能就和一个expression的功能类似,实现功能。

  Mapping Designer

  实现的功能是设计具体进行抽取数据的mapping,这些mapping应用到一个workflow中,形成了workflow的一个session(task)。

  2       组件功能

  ETL支持的组件主要包括两类:Active组件和Passive组件,其中Active组件是对输入记录集在输出时个数有变化的组件,Passive组件,输入的记录集,输出时记录集的个数不发生改变。

  Informatic提供的组件包括:

  Source Qualifier: reads data from flat file & relational sources

  (2)     Expression: performs row-level calculations

  (3)     Filter: drops rows conditionally

  (4)     Sorter: sorts data

  (5)     Aggregator: performs aggregate calculations

  (6)     Joiner: joins heterogeneous sources

  (7)     Lookup: looks up values and passes them to other objects

  (8)     Update Strategy: tags rows for insert, update, delete, reject

  (9)     Router: splits rows conditionally

  (10)Sequence Generator: generates unique ID values

  (11)Normalizer: normalizes records from relational or VSAM sources

  (12)Rank: filters the top or bottom range of records

  (13)Union: merges data from multiple pipelines into one pipeline

  (14)Transaction Control: allows user-defined commits

  (15)Stored Procedure: calls a database stored procedure

  (16)External Procedure : calls compiled code for each row

  (17)Custom: calls compiled code for multiple rows

  (18)Midstream XML Parser: reads XML from database table or message queue

  (19)Midstream XML Generator: writes XML to database table or message queue

  每一类组件都有自己独特的功能和特点,这里介绍主要的组件包括上述红色的内容。每一种组件的详细功能这里不详细介绍。

  2. Workflow

  Workflow是对执行任务的执行进行控制,可以在执行时对执行的任务进行传参数进行传入,这样就能在执行的时候把数据库表进行动态的设置。

  可以在执行的时候选择参数文件,对mapping、workflow中的Session的参数进行传入。达到动态执行的目的。

  Workflow中定义workflow、session等任务,对这些任务的执行进行管理控制。

  四、补充说明

  (1)      Source Qualifier支持同构数据源的连接,衣钩数据源的连接通过N-1个jointer组件实现。

  (2)      Lookup为passive组件,查出的多条记录集,要么取first,或者last,或者报错。

  (3)      Lookup可以时动态/静态 ,可以connected/unconnect
 




 

评分:0

我来说两句