打破数据壁垒,繁荣大数据生态:中国移动与华为共推“湖仓一体”加速落地
进入数字经济时代,数据是关键生产要素已成为常识。但与土地、劳动力、资本等传统经济中的生产要素不同,数据不会因为投入生产而被消耗掉,反而可以尽可能地重复使用,并在使用、转移的过程中汇聚更多数据,产生更大的价值。
不言而喻,要实现数据要素价值最大化,助推数字经济高质量发展,关键在于构建开放共享的数据平台,让各种各样的数据无缝流通,促使数据在各领域、各链条间共享交换。
然而,随着行业数字化转型加速,多样化应用产生的数据量越来越庞大,数据类型越来越多,数据分布更加分散,对数据处理的时效性要求也越来越高,导致数据碎片化、数据孤岛等问题日益严重,传统数据基础设施的存储、分析、分发等能力逐渐陷入瓶颈。
如何破解这一横亘在数字道路上的壁垒,已成为全行业需直面的一道必答题。几天前,在华为全联接大会以“面向全应用,构建多云时代可靠存储底座”为主题的数据存储峰会上,中国移动信息技术中心副总经理陶涛在题为《繁荣大数据生态,加速产业链协同》的主题演讲中给出了中国移动的答案。
践行“湖仓一体”,打通数据底座
一直以来,数据仓库和数据湖是我们熟知的大数据架构,但面对各类数据迅猛增长,它们已无法适应数字经济时代的数据存储和分析需求。
数据仓库主要存储经过处理的、结构化的数据,不适合处理不断增长的XML、文本、图片、视频等半结构化和非结构化数据,且存在构建过程费时费力、集群规模扩展能力有限等缺点。后来诞生的数据湖尽管支持所有类型的源数据,提升了数据管理的及时性和灵活性,但事务支持差,无法完全替代数据仓库。同时,两套数据系统并立运行,导致数据重复存储于两个或多个位置,会增加数据管理成本和复杂度,难以充分释放发挥数据价值。
而湖仓一体打通了数据湖与数据仓库能力,将数据湖的灵活性与数据仓库的高效率优势融合起来,不仅打破了两者之间的数据壁垒,而且能简化数据管理,提升资源利用率和数据分析效率,已成为大数据架构演进的必然趋势。
在此背景下,中国移动已联合华为,基于在全国九大区域中心构建的大数据分布式协同计算平台,构建统一的数据底座,共同推进湖仓一体新型开放式架构应用落地。
陶涛表示,中国移动已在宁波、汕头等东部节点完成存算分离试点,目前正在推进大规模应用。且正在打造全局元数据网关,实现数据冷温热分级管理,通过统一元数据视图,实现分散在异构存储、异地数据中心的数据统一访问,助力“东数西算”国家战略工程实施。
该架构不仅打破了单中心节点内多套系统的数据烟囱,让数据湖与数据仓库中的数据无缝联通流动,更重要的是,它采用存算分离的结构,提供统一开放的存储接口,对接多样的计算引擎,支持资源弹性伸缩、灵活规划与部署,可在提升大数据分析效率的同时有效简化数据基础设施架构。因此,面对国家“东数西算”战略背景下数据存储和处理呈现多个地理位置分布的特点,可构建全局统一的存储资源池,构筑全局统一的数据视图,高效实现数据跨区跨云无缝按需流通。
而华为大数据存算分离解决方案打破了传统大数据平台存算一体的部署架构,支持存储资源灵活按需扩展,支持湖仓融合的新兴数据格式,可帮助企业构建超大型的数据存储资源池,还可以面向多云提供数据共享能力,让数据在不同的业务系统、平台和环境中自由移植和高速共享,高效解决了企业存储面临的数据存不下、流不动、管不好的问题。双方珠联璧合,一方有领先的架构设计,另一方有成熟的技术方案,自然促成了此次成功实践,相信接下来将加速推动湖仓一体技术广泛落地。
除了落地实践,面对当前不同企业对湖仓一体架构存在不同的理解和方法论,行业缺乏统一的规范和目标,中国移动还充分发挥产业链链长作用,携手存储、计算、数据库、数据服务等多领域伙伴,在不久前发布了《大数据湖仓一体技术规范》,首次定义了大数据湖仓一体技术架构的关键组成要素,以及湖仓一体架构下统一存储、统一元数据、统一计算、统一服务、运维管理、安全管理、平滑演进等关键能力的规范要求,以凝聚发展合力,推动湖仓一体技术加速发展。
为进一步促进产业达成共识,中国移动再次携手华为、信通院等十多家产业合作伙伴,联合编制了《湖仓一体技术白皮书》,并准备在近期发布,将全面阐述湖仓一体发展背景、概念定义、关键技术、典型应用场景、当前挑战、未来展望以及实践案例。
培育合作生态,共推大数据繁荣
当前,不管从国家政策层面还是从市场发展状况看,大数据产业正迎来高质量发展新阶段。2021年11月,工信部发布《“十四五”大数据产业发展规划》,明确部署了推动大数据产业高质量发展的行动与保障措施。过去几年来大数据技术快速发展,已应用到精准营销、金融风控、城市交通调度等多个场景,渗入到金融、政务、文旅、交通等各个领域,产业格局已逐渐形成,数据价值也得到了社会广泛认可。
在此背景下,陶涛表示,中国移动充分发挥央企责任担当,已依托于在大数据领域丰富的数据、场景、渠道等优势,打造出符合中国移动特色的一流大数据新型基础设施,构建了中国移动大数据+价