数据结构论坛

首页 » 分类 » 问答 » 干货集中营SAP业务技术云平台助力数据生
TUhjnbcbe - 2023/6/27 22:31:00


  对数据价值的精炼已经二十多年,从早期的数据仓库、商务智能,到现在的大数据、数据中台、数据湖和数据湖仓。数据越来越被重视,数据被看成资源、资产和生产要素,本文概要介绍SAP业务技术云平台如何助力数据生产要素价值构成.


  一、数据生产要素


  数据被认为是数字经济时代相比于工业时代的石油资源,数据具有传统的石油资源不具备的特性:非消耗性,可共享,边际成本为零等。数据被认定为资产,有的企业甚至为数据资产设定了会计科目。


  年4月,国务院发布《关于构建更加完善的要素市场化配置体制机制的意见》,将数据与土地、劳动力、技术和资本等生产要素相提并论,并提出“加快培育数据要素市场”。年11月3日,第一笔“数据要素可信流通交易”在河南省新乡市大数据产业园产生。


  但是不被有效管理的数据并不能直接成为资源、资产或者生产要素。对于原始的数据,一方面必须通过采集、加工、存储、流通、分析等数据管理环节,才会具备价值和使用价值;另一方面有价值的数据通过确权定价,进入数据流通市场,实现更大的社会价值,这才是数据资产和数据生产要素。

二、SAP全生命周期数据管理


  SAP业务技术云平台是SAP智慧企业的技术底座,是SAP的业务运行支撑平台和应用开发扩展平台。SAP业务技术云平台整合了数据库和数据管理、分析、智能技术、以及应用开发和集成等多种平台技术产品,对数据进行全生命周期管理,通过阶段化的处理,实现数据到信息、知识和智慧的转换,完成数据价值构建。

图一智慧企业和SAP业务技术云平台


  SAP业务技术云平台通过业务扩展,实现基于数据驱动的业务创新,让数据的价值不仅仅局限于传统的数据可视化和商业智能。

图二数据管理阶段术语与SAP产品映射


  参考国际数据管理协会DAMA的数据管理说明,以及中国信息通信研究院《数据资产管理实践白皮书》对数据资产管理职能要求,就数据管理全过程和涉及到的术语,SAP业务技术云平台都有相关的功能组件与之对应,以下做一概要介绍。


  1、数据架构模型


  在数据管理中,首先需要高屋建瓴地规划企业的数据架构,盘点清楚企业的数据资产,搭建企业数据模型库,按权限实现数据架构模型企业内部的共享。SAPPowerDesigner从企业架构设计的四个层次,涵盖需求管理等五个方面,构建架构模型共享知识库,实现架构模型设计,提供多种角色支持和全面权限控制,进行模型架构版本分支、合并和流程审批等工作。

图三SAPPowerdesigner功能模块


  Powerdesigner还可根据数据标准对模型设计进行规范化约束,实现设计时元数据管理,提供本地或者私有云部署模式。


  2、元数据管理


  元数据是关于数据的数据,描述数据本身、数据表示的概念、数据与概念的联系。元数据包括:1)业务元数据,描述数据系统中业务领域相关概念、关系和规则的数据;包括业务术语、信息分类、指标、统计口径等;2)技术元数据,描述数据系统中技术领域相关概念、关系和规则的数据;包括数据平台内对象和数据结构的定义、源数据到目的数据的映射、数据转换描述等;


  SAP元数据管理包括三个产品,设计时元数据管理:SAPPowerdesigner实现模型架构设计和管理,多人团队协作共享。


  运行时元数据管理:信息管家(InformationSteward)是传统数据仓库元数据管理工具,可以管理业务元数据、数据仓库的模型、ETL模型、多维分析模型等,定义数据质量规则、进行数据质量评分监控,数据血缘分析。其元数据集成器(Metadataintegrators),通过通用仓库元模型(CommonWarehouseModel)获取其他满足CWM的数据管理产品的元数据。或者通过元数据集成模型桥(MetaIntegrationModelBridge)收集包括微软、Oracle和IBM等第三方产品元数据。


  第三种元数据产品是SAP数据智能(DataIntelligence),它是解决复杂IT环境信息孤岛的数据编织(DataFabric)产品,相比于数据仓库的信息孤岛解决方式,数据智能面对的环境更复杂,数据一般不做存储。SAP数据智能的数据治理模块提供元数据管理能力,直接获取接入到系统中的数据源(Discover,Preview,Profile)的技术元数据,用户对接入的数据源定义为带层级化标签的企业数据目录。导入信息管家中的业务元数据,构建业务元数据和数据目录之间的联系。通过门户,按数据标签或者业务术语检索数据。

图四SAP元数据管理产品间关系


  3、主数据管理


  Gartner定义主数据是:一套一致和统一地描述企业核心数据的标识及其扩展属性,包括客户、员工、产品、供应商、地址、组织结构和财务科目等。由人、流程、技术组成的知识领域。


  a、SAP主数据治理


  SAP主数据治理(MasterDataGovernance)提供端到端的企业主数据解决方案,覆盖主数据全生命周期,包括创建,维护,审批,分发等过程。提供企业级的主数据治理,覆盖SAP和非SAP应用和分析的主数据需求。

图五SAP主数据治理


  SAP主数据治理基于专业标准的集成化应用平台NetWeaver,预装在SAP新一代ERP业务套件S/4HANA中,用户在获取软件许可后可以直接启用,提供财务,客户,供应商,物料,设备,零售以及自定义主题的数据治理模型和模板,深度支撑企业全域主数据需求。


  b、SAP主数据集成


  SAP统一域模型(OneDomainModel)是业务技术云平台对数据进行管理的一种方式,其数据来源于SAP智慧套件的各种应用,并从企业层面按照业务领域进行建模,对外提供基于Odata的数据实时服务,通过SAP集成套件可以为第三方应用提供数据服务,通过SAP扩展套件的SAPGraph实现跨SAP应用的创新业务扩展。SAP主数据集成(MasterDataIntegration)利用统一域模型在业务技术云平台上提供主数据服务。

图六主数据集成和主数据治理


  4、数据集成和互操作


  根据DAMA定义,数据集成和互操作性(DataIntegrationandInteroperability,DII)描述了与数据存储、应用程序和组织内部和之间的数据移动和合并相关过程。


  根据集成过程的时效性可划分成:传统ETL,近实时数据集成、实时数据集成和数据联邦。也包括云数据集成,和数据云服务Data-as-a-Service(DaaS)。SAP主要集成产品的功能定位如下:

图七不同数据集成产品场景对比


  SAP集成套件(IntegrationSuit)实现云相关集成,包括但不限于数据集成。


  5、数据存储和运算


  a、数据金字塔


  SAP基于用户的数据访问频度,数据量,数据访问性能需求,存储运算成本控制,将企业数据分级管理,其中性能要求最高、访问最频繁的数据存储在全内存HANA平台中,HANA存储扩展NSE以磁盘为介质存放数据,一般存放不需要频繁修改的数据。HANA数据湖数据可以按列存储在自管理的共享磁盘上,或者通过关系型接口直接访问第三方以ORC、CSV或者ApacheParquet格式存储的文件系统数据,轻松实现PB级别的数据存储运算。

图八数据分层管理


  b、分布式内存计算


  SAPHANA是基于内存计算技术的高性能实时多模引擎数据计算平台,融合了行存储和列存储,基于Share-Nothing的分布式数据处理架构,可以横向集群扩展,提升系统数据处理能力,保证系统负载均衡。最高20倍的数据压缩率,同时支持联机事务处理(OLTP)和联机分析处理(OLAP),内嵌计算视图方式的分析引擎,支持图形化和程序方式的分析建模,分析能力远超越传统的多维分析。非结构化数据处理能力包括文本、语音、图像等,支持几十种语言的分词、文本分析和语义分析。内嵌的APL/PAL/EML,并融合R,轻松实现全内存机器学习和人工智能。


  6、数据仓库和商业智能


  SAP数据仓库是构建在内存数据平台HANA之上的分析应用,1)SAP数据仓库云(DataWarehouseCloud)是云原生数据仓库,2)SAPBW/4HANA是基于Netweaver商业套件模式的数据仓库,3)SQLDataWarehouse充分利用HANA的非数据库功能中的数据集成和质量服务、应用服务、处理服务,用户直接创建HANA物理表,进行虚拟的计算视图和CDS建模,设计运营数据流动模型,进行数据生命周期管理,利用HANA机器学习和人工智能构建的新一代的数据仓库。

图九SAP数据仓库战略


  a、SAP业务数据仓库


  SAP业务数据仓库(SAPBW/4HANA)支持本地和私有云部署,利用HANA的强大计算能力实现实时数据仓库,支持大数据处理。


  SAPBW/4HANA严格遵循数据仓库方法论进行开发,在数据增量获取、数据回退、自动生成元数据、可视化的数据血缘分析、慢速变化维、多币种、多语言等方面有几十年的成熟实践经验,确保了数据仓库数据与数据源的长期稳定一致。SAPBW/4HANA与SAPERP等其他商业套件基于NetWeaver,可以很方便进行数据交换。


  SAPBW/4HANA内置业务内容,是SAP近五十年不同的行业和应用的最佳实践概括总结,包含了11,多个信息对象(维度和指标)、多个角色和多个查询等。这些内容具体到查询报表,模型配置,数据流设置,数据源和抽取程序,甚至用户的角色和权限定义等。企业在实施过程中参考这些预配置业务内容,可以大大缩短实施时间,降低实施风险,轻松实现数据仓库模型的前瞻性和全面性。


  b、SAP数据仓库云


  SAP数据仓库云(SAPDataWarehouseCloud)是一个SAP完全管理、高度集成、开放、可扩展的云原生数据仓库,支持各种数据应用需求,包括实时分析,受治理的数据访问和数据科学(机器学习)。强大的内置SQL和数据流编辑器,图形化无代码建模工具,以满足自助建模需求,业务语义建模,与物理数据存储分离。对SAPIDE以及其他第三方SQL工具支持。提供SAP和合作伙伴业务内容,以支持不同行业和业务线的端到端业务场景。与云和本地数据源的连接,包括SAP数据湖和第三方数据湖。重用和迁移SAPBW/4HANA和SAPSQLdataWarehouse的元模型和数据模型。

图十数据仓库云和业务数据仓库


  c、SAP分析云


  SAP分析云(SAPAnalyticsCloud)将商务智能、计划、预测集于统一的SaaS解决方案之中,一站式实现数据探索、发现、预测、决策以及行动,为企业内外部各层级的信息使用者,提供一致的分析体验,将分析转化为业务洞察与行动力。

图十一SAP业务技术云平台中的分析云


  三、数据生产要素如何借力SAP?


  数据必须通过系统全面科学的阶段处理,才会具备持续的业务价值。SAP业务技术云平台的数据管理可以在数据生产要素处理过程的某些阶段、或者全过程帮助企业实现数据价值构建。例如:


  场景一:企业需要客户、供应商、物料、财务科目等企业核心业务实体全公司统一标准,数据共享,SAP主数据治理可以选择。


  场景二:客户需要盘点企业数据资产,规范模型架构管理,实现模型架构内部共享,可以选择SAP数据架构模型管理。


  场景三:企业期望实现云上数据仓库,可以选择HANA云、SAP分析云等。


  场景四:企业全面数据管理,包括业务口径、数据架构、数据模型、主数据、元数据和数据平台等需求,可选择SAP完整数据管理方案。


  SAP业务技术云平台支持公有云、私有云、本地和混合等多种部署模式,具体可咨询SAP业务代表。

作者信息


  罗永强资深系统架构师


  二十多年的大数据、数据仓库、商业智能、数据集市、算法交易等系统建设经验,涉足电信、金融、政府、零售、制造、能源、化工等多个行业。当前专注于数据管理和平台产品,负责跨行业大数据、数据仓库、数据湖/湖仓等系统架构和数据管理解决方案设计、技术交流、业务咨询和招投标等工作。

1
查看完整版本: 干货集中营SAP业务技术云平台助力数据生