数据中台的价值

　　几十年的信息化发展历程，就是“业务数据化”的过程——无论是一家公司或者是一个机构当它持续不断在IT方面进行投入和建设，不断将自身发展过程中业务模式和经营管理端的各种能力以数据指标的形态沉淀累计下来。 

　　利用沉淀积累的数据进行业务上的优化升级，则是将已经成为企业数字资产的“业务大数据”作为生产资料融入业务价值的创造过程，使之持续产生更长远的价值。 

　　数据中台就是实现”数据业务化“的基础！

1、IT建设的问题与发展

系统越多，数据孤岛现象越严重 

随着信息化的不断加深，在传统的“烟囱式”IT产品工具系统的搭建模式下，企业独立采购或者定制开发的各种信息软件，会在企业日常运维的内部形成众多数据孤岛；而在互联网、移动互联网背景下，小程序、O2O平台等新模式下产生的外部新鲜数据与传统系统的内部数据有效直接互通，这进一步加剧了数据孤岛问题……系统多样性和多态性，增加了企业IT架构的复杂度。

云时代下多云策略使得IT架构更加复杂 

IT硬件基础设施从PC时代的计算服务器演变成DT时代的万物“云”，绝大多数企业现今及未来都将选取多云策略，以避免被单一云厂商锁定，且多云可以让企业系统内的IT架构更灵活、更符合自身情况。但这也让企业IT架构变得更为复杂，不同云服务商之间的底层数据的互联互通成为困扰企业发展的痛点之一。每一次系统之间的同步，带宽的消耗都是云服务商挣取利润的主要来源。

IT 发展迫切进入新阶段 

企业信息化发展目前正处于从数据集成向数据管理阶段转变的关键时期，数据管理从分散向集中发展，从不规范向规范化发展；信息系统建设从单项建设向集成化发展

2、数据中台的价值

1）数据价值 

数据是企业已有业务和管理思想的结晶，数据中台帮助企业对数据进行整合，进一步挖掘数据价值，从而达成赋能业务的目的。通过构建数据中台实现3大核心价值：整合、共享、赋能。

整合·数据资产

工作刚需：消除数据孤岛，汇聚企业内外部数据，形成数据资产 

对接业务核心数据，打通ERP、MES、PLM、CRM、HR等信息系统，建立统一的数据标准，梳理基础数据与交易数据，消除数据孤岛，汇聚企业内夯实数据资产基础

数据资源盘点、联接、规范管理，形成企业的“数据资产”管理体系。帮助解决传统信息系统建设过程中，因”烟囱式“架构导致的数据隔离、数据不一致等问题，避免“数据孤岛”的出现。

共享·数据资源

归纳总结：主动针对数据进行思考分析，追根溯源，查找原因，为决策提供支持 

围绕着能给业务带来价值的数据资产进行建设，形成统一的数据资产体系，使企业数据中台体系初具雏形，以能满足企业业务对数据的需求。

避免重复开发，确保前端业务“轻量化”。数据中台要求“整合、共享“，因此业务前端需要的数据应用能力必须经过数据中台进行实现，这样既确保了前端业务的轻量化，又巩固了数据中台作为关键地位，实现数据资源的共享与开发效率的提升。

赋能·业务创新 

赋能创新：借助大数据AI技术，以演绎方式通过数据实现业务智能化 

提供便捷、快速的数据服务能力，选择具体业务场景，结合AI算法，让相关人员能够迅速开发数据应用，实现“场景+算法+数据”的智慧创新场景的应用，充分发挥数据价值。

通过数据的统一数据服务，将企业基础数据能力整合在数据中台中，并开放给前端业务进行调用，实现了自主驱动、赋能业务的最终目的。

2）实现企业数字化愿景 

• 实现基于数据的管理：基于中台构建面向业务应用的全量数据分析

• 从“业务驱动数据”走向“数据驱动业务”企业

• 实现智能企业，建立大数据BI平台，打造智能企业的大脑，帮助企业实现从透明化到智能化的闭环管理

数据中台建设

1、数据集成方案

1）手工数据填报 

对于企业手工线下EXCEL的数据，可通过在线填报方式进行统一采集与管理。

• 模版定义：定义补录模板，包括目标数据库，补录列字段名称、类型、长度、校验方式、默认值等信息，更新方式、是否审批等策略

• 数据补录：根据补录模版动态生成不同补录页面，支持excel批量录入、校验、提交

• 补录查看：查看、下载已补录数据，并支持对已导入数据编辑、修改操作

2）离线/批处理 

可通过图形化配置化页面实现数据的同步：

• 定义同步任务，可视化配置源端和目标端；

• 提供任意异构数据源间的同步，以及Excel、API等；

• 支持多种同步方式（Datax、Kettle）；

• 提供批量同步的方式，一次创建多张表的同步任务；

• 可配置多种同步策略，包括增量、读取配置、写入配置、容错率等；

• 可通过查看引用快速定位数据集成的调度作业，及查看作业运行日志

3）实时同步 

通过kafak+flink实现数据的实时更新，满足基于流式计算统一解决数据集成的各种场景，正常情况：

• Kafka会保留一段时间的队列

• 入仓数据都有时间戳

• Flink 处理过程会记录到控制表

3、数据应用 

1）数据可视化应用

2）数据API服务 

除了提供报表可视化服务以外，还可通过API方式为各应用场景提供数据服务，形成数据闭环管控

• 面向各类数据应用场景，统一数据仓库对外数据服务标准

• 整合应用需求，持续完善数据仓库服务能力，底层能力迭代不影响前端业务

• 统一的服务管理提升了数据安全防护，数据审计，数据调用统计的效率