明论资本对话DataPipeline:让数据生产力的历史进程,再前进一步。
当下,数据所引发的生产要素变革,正在重塑着我们的需求、生产、供应和消费,改变着社会的组织运行方式。对于企业来讲,其竞争的本质是在“外部环境、生产环境、供应链协同等”复杂且不确定性强的市场环境下资源配置效率的竞争。数据,作为企业资源的具体表现形式和重要载体,其管理效能的高低直接决定了企业的生存能力。
随着数据技术的更新迭代和市场需求的快速升级,数据管理在内外部作用下逐渐被赋予新的责任。在技术侧,数据源的架构在变得繁多和复杂,数据应用也逐渐变得更加垂直和场景化,这也倒逼了现代数据架构飞速发展。在业务侧,其被要求回答:如何快速感知市场变化、识别潜在客户需求,如何增强决策准确性、实时性,如何构建能变革业务的数据驱动的应用等。数据管理,已经从一项技术管理工作升级为系统工程。DataOps这样的新型数据管理方法,恰逢其时地走到台前,弥补抽象的“采、存、管、用”发力不足的问题。
一千个人眼中有一千种对数据管理的“想象”。今天,我们邀请到DataPipeline的创始人兼CEO陈诚,走近DataPipeline,看这家专注于下一代数据基础设施的公司是如何帮助企业实现基于DataOps理念的“全链路”数据管理。
行业革新,数据管理识变应变求变
“面对不确定性新常态,对于各行各业的企业管理者来说,如何高效地利用手头的数据,实时、精确地感知和洞察业务变化,更好地提高企业的运营效率、寻找业务的增长点是每个企业都需要面对的必修课。
——DataPipeline创始人兼CEO陈诚”
明论:在大数据行业飞速发展的今天,数据管理的重要性是各行业管理者的共识。从您的观察来看,在过去的20年时间里,数据管理发生了什么变化?
陈诚:随着新的业务形态不断出现,各行业的客户行为也发生着日新月异的变化,例如服务的场景化社交化、营销渠道的线上线下一体化等,这对传统的经营模式带来了巨大的挑战。企业的推广获客成本、营销流量成本和签单成本越来越高,流量精准度和转化率不足,利润慢慢地被吞噬。如何高效地利用手头的数据,实时、精确地洞察业务变化,更好地提高企业的运营效率,寻找在“感知、决策、执行”上的新发力点是每个企业都需要面对的必修课。
同时,大量行业都非数字原生,其经历了漫长的业务电子化和经营线上化的信息化及数字化过程,且均围绕其各个业务板块的业务流程进行,数据逐渐渗透至企业设计、生产、管理、服务和运营等的全流程。这天然地导致数据来源多样,数据结构复杂,系统之间相互割裂,数据难以互联互通,数据孤岛大量存在。
在数据基础层,业务形态的丰富带来繁多的数据种类,例如支撑核心系统的新型的NewSQLTP,各类支持系统、各运营类应用的场景化和SaaS化,也包括了各类IOT设备和工业协议的显著增多。同时,数据传输层相应出现各类相匹配的数据获取方式。业务应用与数据应用的上层分布也发生了很大变化。除了传统的BI应用外,现在还出现了更为复杂且智能的嵌入式BI和增强BI。对于面向数据业务的应用,有各类基于营销、客户服务、产品迭代、风险管理等不同场景的数据驱动型应用的落地,而构建这些应用不只需要简单的业务逻辑梳理,而是需要对实体数据的探查和推演。
技术场景的快速分化产生大量不同特性的存储与计算引擎、信创大势下优秀国产基础软件涌现、业务导向下数据结构的快速迭代、网络技术革新带来的丰富数据源,繁荣的技术生态也在呼唤更创新的数据管理方式。
业务全场景创新、数据量爆炸式增长且渗透度高、数据时效性需求增加、数据采集/获取/应用的复杂度提升、异构数据技术引擎的涌现与驱动,这几个因素的加权将带来必然的数据管理理念与实践的变革。
选择DataOps,数据生产力历史进程再前进一步
“「连接一切数据、应用和设备」是DataPipeline的使命,这个看似直白的目标,在以终为始的倒推中,展开了一张越来越纷杂的产品能力拼图。这是一个构建围绕‘流程+工具+组织’的DataOps时代,DataOps让我们有了能力建设的‘上帝视角’。
——DataPipeline创始人兼CEO陈诚”
明论:围绕数据管理发生的这些变化,请谈谈这对于企业来说意味着什么?
陈诚:为了应对业务与数据需求的不断变化,企业内部管理理念、管理角色、管理工具也面临巨大变化。
从上世纪90年代开始,建设以行业领域模型为主的数据仓库、数据集市以支持确定性高的报表类需求,这是数据管理的摸索期,企业经营管理刚刚开始尝试向业务为核心、数据为辅助的方向发展。数据管理重点体现在强主题域建模、对静态元数据及主数据的管理、长周期的数据治理,参与的人员仅限于建模工程师、ETL工程师、报表工程师这种专业数据岗位。
年左右开始,由于互联网公司的崛起、互联网数据的爆炸,开始有了更大量的数据、更加复杂和多样的数据源,以及一些特定场景的数据驱动的应用,数据的流转、存储以及管理等问题变得更加复杂。在这个时期,企业