目录
1.信息对象
2.原系统
3.数据源
4.转换
5.数据流
6.DTP
7.导航属性
8.DSO数据存储对象
(1)DSO的四种类型:
(2)DSO和CUBE的区别:
(3)数据存储:
(4)创建DateStore Object:
9.CompositeProvider复合提供者
10.处理链
11.query
12.InfoProvider
1.信息对象
InfoObject,BI中存储数据的最小对象。而且,BI中也提供了很多InfoObject,InfoCube也就是对这些InfoObject进行组合,对于数据分析有很好的耦合性。
InfoObject,物理数据模型,可以是InfoProvider本身,也可以在InfoProvider中使用。DataStore对象是一个可以由InfoObject组成的InfoProvider。
BW除了可以将数据抽取到PSA和DSO之外,也可以将数据收入到InfoObject。一般来讲,InfoObject分为characteristic和key figure分别用来管理文本型和数字型的数据。
InfoObject共有四种类型,特性(Characteristic)、关键值(Key Figure)、单位(Unit)、XXL
- 特性(Characteristic):这些特性指定关键指标存储在InfoProvider中的粒度(详细程度)。如果特性具有属性、文本或层次结构,这些被称为承载数据的特征。
数据类型:
时间特性是日期,会计年度等特性。技术特性仅在BW内部用于管理目的。
技术特征的一个示例是请求编号。当将请求作为ID加载或者以后查找请求时,会生成此消息。
SNUMC:转换例程SNUMC可以将整数(INT4,INT8,DEC)格式的数据转换为另一种格式。
例如,如果要使用开放ODS视图访问SAP HANA中的表或视图,或者要使用SAP HANA数据源将数据加载到BW系统中,则需要进行此转换。
- 关键值(Key Figure):可以是数额、数量或项目数。其属性会影响数据加载的方式以及查询的显示方式。这包括分配货币或度量单位,设置汇总和异常汇总,以及指定查询中的小数位数。
数据类型:
数据类型:
- XXL:可以使用MIME类型进一步指定数据类型。 支持多种格式,包括不同的文档类型,音频文件或视频文件,文本和图像。
SAP BW / 4HANA中可用的MIME类型包括图像类型(PNG,IMG,BITF,PFX等),视频类型(MPG,AVI,QT,VDO等),Microsoft类型(DOC,PPT,XLS,RTF, 等),Adobe PDF,AutoCAD(DWG)等。
数据类型:
2.原系统
可以使用SAP BW∕4HANA中的源系统来设置与数据传输源的连接。主要管理BW中的数据源提供系统,一般是公司的业务系统或flatfile文件。
可以使用开放的ODS视图和CompositeProviders虚拟地访问数据。所有源都支持完全模式下的数据传输,前提是源支持此模式(通用增量)。对于许多数据供应适配器,SAP HANA源系统支持实时复制
新建原系统:
SAP HANA Local Database Schema:通过数据库连接方式连接BW4/HANA后台HANA数据库其他schema;
SAP HANA Smart Data Access:通过ODBC连接其他系统数据库;如果源系统是通过Smart Data Access与SAP HANA数据库连接的外部数据源,请选择此选项。 通过此连接类型,可以使用SAP HANA智能数据集成提供的源。 与外部源的连接是使用数据供应适配器进行的。作为连接参数,可以指定将源 连接到SAP HANA的远程源,或者可以通过源系统进行访问的源区域。 根据远程源(因此取决于适配器),可以通过指定远程数据库和所有者或架构来指定区域,或者,如果源具有分层文件夹结构而不是架构,则可以使用路径前缀来指定区域。
SAP HANA Tenant Database Schema:通过数据库连接方式连接其他HANA数据库,在单个SAP HANA系统中支持多个隔离的数据库。 这些被称为租户数据库,如果将SAP HANA系统的租户数据库中的特定模式用作源系统,则可以使用此选项。 然后,可以访问源系统配置中定义的租户数据库的架构的表,视图或本机DataStore对象。;
Big Data: 连接大数据平台 ;
Operational Data Provisioning(ODP):通过EFC连接其他SAP系统 ;
File:连接手工数据文件。
3.数据源
数据源是一组字段,为业务部门提供数据以进行数据访问和提取,以及将数据传输到SAP BW ∕ 4HANA中。从技术角度来看,DataSource是一组逻辑相关的字段,提供了这些字段以平面结构(提取结构)或多个平面结构(用于层次结构)的形式访问数据并将数据传输到SAP BW ∕ 4HANA中。
数据可以通过数据传输过程或信息包从数据源结构中的源加载到sapbw∕4HANA系统中。在转换过程中,确定要将数据从数据源传输到的目标。还可以将数据源字段分配给InfoObjects或sapbw∕4HANA中目标对象的字段。
DataSource是BW中的真实数据源,通常被称为PSA层,对来存储和业务系统中完全一致的数据,这一层是临时数据存储层,里面的数据不会一直存在。
4.转换
转换(Transformation)操作可以实现整合、清理和集成数据。可以使用语义特征,整合不同来源的数据。当数据从BW对象或虚拟对象加载到目标BW对象时,数据将通过转换。转换操作将源的字段转换为目标的格式。
在BW多级模型中,不同层级之间需要进行数据的传递,transformation就是用来完成这一任务的。在transformation中可以规定上下两层之间数据的对应关系,可以是直接传递等简单方式,也可以通过自己编写公式实现复杂的数据整理逻辑。
转换和DTP数一一对应的,转换只是定义数据有源到目标模型的数据转换规则,DTP是按照转换 逻辑具体执行数据由源抽取到目标模型。
转换有三种例程:开始例程,结束例程,专家例程
开始例程:开始例程的逻辑是执行在执行转换之前
结束例程:结束例程的逻辑是执行在执行转换之后,对处理后的数据结果集再次进行处理
专家例程:无转换规则,所有处理逻辑都根据专家例程进行数据处理
创建转换:
转换规则类型:
Direct Assignment: 直接赋值
Formula:可以写简单的公式
lookup:根据相应的主数据匹配 相关数据
Constant:常量
Routine:写代码处理逻辑
No Update:不做任何更新。
5.数据流
Data Flow:它描述了一组SAP BW/4HANA对象,包括它们之间的关系和相互依赖关系。
Data flow object:数据流对象是SAP BW∕4HANA中描述数据流的TLOGO对象。数据流对象是在图形编辑器中创建和编辑的。它可以可视化数据流中包含的SAP BW/4HANA对象(及其关系)。可以使用数据流对象将具有持久性对象和现有数据流的现有业务情景的可视化存储为SAP BW ∕ 4HANA中的BW对象类型。它们与SAP BW∕4HANA运行时无关。
6.DTP
DTP(Data Transfer Processes):数据传输流程;根据转换规则和逻辑具体进行数据抽取和处理、数据过滤。
DTP主要用于BW内部数据加载,总是和转换成对出现,当转换激活后,则会出现一个相对应的空的DTP文件,要确保每个转换下都要建立DTP。
7.导航属性
在BI中,属性分为如下两种类型:显示、导航。所谓的属性在单独看来其实还是信息对象。每个特征都可以包含:主数据、属性、层级。例如:特征A、特征B。如果我将特征A放置到特征B的属性中去,那么特征A就叫做特征B的属性。
一般默认的情况下,所有的属性都是显示属性。所谓的显示属性就是在报表开发的过程中仅仅用来显示,并没有其他的下钻的功能,仅仅是为了来描述它对应的特征对象而以。
此外,关键值也是可以作为属性来使用的。前提是这个关键值的变化频率要低。
8.ADSO数据存储对象
ADSO包括DSO、Cube、PSA。
DataStore Object 特别适合处理频繁加载和大量数据。通过二维表保存真实的数据,BW中通过建立多层DSO模型来完成对数据的ETL过程,已得到最终需要的数据格式和结构。
数据存储对象最多包含三个表:激活队列表(Activation Queue)、更改日志(Change Log)和活动数据表(Active Data)。
(1)DSO的四种类型:
标准的数据存储对象适用于大多数应用案例和报告。
①Write Change Log(写入更改日志):
如果选择此选项,则增量(新记录,已删除记录和更改记录)将保存在更改日志中。更改日志用于提取增量。仅当DataStore对象具有更改日志时,才可以从DataStore对象回滚请求,即可以恢复激活请求之前的状态。
②Snapshot Support(快照支持):
如果数据源仅以“FULL”的形式传递当前数据集,通过设置该指标,可以识别、更新已删除的数据记录。激活后,系统将识别活动数据表中但不在加载请求中的记录。这些将作为反向映像写入更改日志。注意:确保在每次加载期间包含所有记录,否则数据可能会丢失。
③Unique Data Records:
如果仅将唯一数据记录(具有非重复键组合的数据记录)加载到数据存储对象中,则可以选择此属性。如果选择了该指标,则在激活期间,系统将检查是否存在唯一的记录。如果记录已存在,则激活将被取消,并出现错误。
Load Data:把请求加载到入站表中。
Activate:把数据从入站表传输到活动数据表,具有相同密钥的数据将按照指定的聚合进行汇总。如果选择了“写入更改日志”属性,则激活的差异将写入更改日志。
Deletion/Rollback:如果请求尚未激活,则可以从入站表中删除它们。如果要回滚已激活的请求,则只有在选择了属性“写入更改日志”时才能执行此操作。
Extraction:从活动数据表中提取用于更新到另一个数据目标的数据,以进行初始和完全提取,并从变更日志中提取数据,以进行增量提取。
Reporting:执行查询时,将访问活动数据表,因此仅可见先前已激活的数据。 对于标准DataStore对象,没有稳定的指引报告,就像数据集DataStore对象一样。
可以通过选择其属性来以不同的方式使用Staging DataStore对象
Compress Data Reporting-Enabled
Load Data:把请求加载到入站表中。
Activate:对于具有“已启用报告”(Reporting-Enabled)和“压缩数据”(Compress Data)属性的DataStore对象,可以进行激活/压缩。对于仅具有入站队列(Inbound Queue),属性的数据存储对象,则不可以。可以使用命令“compression”,数据从入站表移动到包含活动数据的表,并且根据默认聚合合并具有相同键值的所有记录。使用命令“activation”,相关数据从入站表复制到包含活动数据的表,并且只有在可见的情况下才能进行报告。 但是,具有相同键的记录也会根据此处的汇总进行合并。
Deletion/Rollback:如果数据尚未包含在入站表中(即尚未激活),则只能在请求级别将其删除。
Extraction:对于仅具有入站队列属性且启用了报告的数据存储对象,完全提取只进入入站表。对于属性为Compress Data的数据存储对象,同时访问入站表和包含活动数据的表。增量提取总是从入站表执行。对于属性为Compress Data的数据存储对象,必须首先将请求更新为所有活动的增量DTPs,然后才能对其进行压缩(激活)。
Reporting:属性为Inbound Queue only和Compress Data的数据存储对象只能在非常有限的范围内用于报告,因为Inbound表中的数据在逻辑上仅与对象相关,但查询不知道激活逻辑,因此无法聚合记录。因此,无法将此类型的数据存储对象添加到CompositeProvider。对于Reporting-Enabled属性的数据存储对象,报告仅在包含活动数据的表上进行,这意味着数据只有在激活后才可见。此类型的数据存储对象可以添加到CompositeProvider。
Data Mart DataStore Object对报告分析进行了优化,112。
可以使用API将数据直接写到活动数据表中(Active Data)。
(2)DSO和CUBE的区别:
数据直接抽取到CUBE,传输会很慢,并且不能查看明细数据,DSO可以将业务数据分散,数据压力小。
(3)数据存储:
PSA可存储原始源数据,InfoCube可存储汇总数据,DataStore对象三种类型
(4)创建DateStore Object:
9.CompositeProvider复合提供者
在CompositeProvider中,可以在SAP HANA中使用union和join将BW InfoProviders(或其中的数据)与SAP HANA视图中的数据合并。如果从CompositeProvider生成SAP HANA视图,则可以获得对数据的SQL访问。对于使用union操作的CompositeProvider,支持通过DTP进行增量提取。
限制:只支持输入参数,不支持变量;对于有嵌套、有组织的CompositeProvider会有一些限制,不支持从BW InfoProviders生成的聚合级别SAP HANA视图,DataStore对象,Open ODS视图,InfoObject
10.处理链
处理链是能自动完成数据的处理和加载等操作的自动化工具。
11.query
位于BW架构的最顶层,用来支持最后的数据结果显示,或者生成BO中所有的universe,总之,query是BW的重点产物。
12.InfoProvider
BW中通过InfoProvider来和Query直接相连,为其提供数据。DSO、Cube、MultiCube都可以作为infoprovider。