系统组件功能
Informatic的功能主要体现在Designer 和Workflow Manager上,其中Designer实现的是对数据抽取的数据转换方式设计,以及效率设计目标等。而在Workflow Manager中再把具体的数据转换方式应用到一个具体的工作任务中,包括目标库、源库的选择,以及一条具体的执行任务的属性设置等等。包括任务的insert、truncate、delete、increment insert等。
1. Designer
2 工作区
在Designer中,涉及到的工作区主要包括有Source Analyzer、Warehouse Designer、Transformation Designer、Mapplet Designer和Mapping Designer。
其中每个工作区的功能分别介绍:
Source Analyzer:
Source Analyzer的功能是实现对源数据库表的设计,可以手工的进行源数据库的设计,一般都是通过从Flat File或者Relation DBMS中导入数据库的表结构。XLS文件结构。
Warehouse Designer
用于设计目标数据库库的结构,可以利用手工设计,也可以利用import工具导入导一个warehouse的结构。
Transformation Designer
用户设计可重用的transformation组件,这里的组件,在一个folder里面都是可以重用的,而且以shortcut的方式使用。Transformation组件的修改,会直接反映到使用此transformation的mapping中。
Mpplet
设计可以重用的多个组件,只要有output组件,可以有input组件,也可以没有input组件,实现的功能就和一个expression的功能类似,实现功能。
Mapping Designer
实现的功能是设计具体进行抽取数据的mapping,这些mapping应用到一个workflow中,形成了workflow的一个session(task)。
2 组件功能
ETL支持的组件主要包括两类:Active组件和Passive组件,其中Active组件是对输入记录集在输出时个数有变化的组件,Passive组件,输入的记录集,输出时记录集的个数不发生改变。
Informatic提供的组件包括:
Source Qualifier: reads data from flat file & relational sources
(2) Expression: performs row-level calculations
(3) Filter: drops rows conditionally
(4) Sorter: sorts data
(5) Aggregator: performs aggregate calculations
(6) Joiner: joins heterogeneous sources
(7) Lookup: looks up values and passes them to other objects
(8) Update Strategy: tags rows for insert, update, delete, reject
(9) Router: splits rows conditionally
(10)Sequence Generator: generates unique ID values
(11)Normalizer: normalizes records from relational or VSAM sources
(12)Rank: filters the top or bottom range of records
(13)Union: merges data from multiple pipelines into one pipeline
(14)Transaction Control: allows user-defined commits
(15)Stored Procedure: calls a database stored procedure
(16)External Procedure : calls compiled code for each row
(17)Custom: calls compiled code for multiple rows
(18)Midstream XML Parser: reads XML from database table or message queue
(19)Midstream XML Generator: writes XML to database table or message queue
每一类组件都有自己独特的功能和特点,这里介绍主要的组件包括上述红色的内容。每一种组件的详细功能这里不详细介绍。
2. Workflow
Workflow是对执行任务的执行进行控制,可以在执行时对执行的任务进行传参数进行传入,这样就能在执行的时候把数据库表进行动态的设置。
可以在执行的时候选择参数文件,对mapping、workflow中的Session的参数进行传入。达到动态执行的目的。
Workflow中定义workflow、session等任务,对这些任务的执行进行管理控制。
四、补充说明
(1) Source Qualifier支持同构数据源的连接,衣钩数据源的连接通过N-1个jointer组件实现。
(2) Lookup为passive组件,查出的多条记录集,要么取first,或者last,或者报错。
(3) Lookup可以时动态/静态 ,可以connected/unconnect