数据结构论坛

首页 » 分类 » 分类 » 做好数据到介质的连接者新数据时代浪潮存储
TUhjnbcbe - 2023/8/3 20:09:00
北京治疗白癜风最好十佳医院 https://m-mip.39.net/nk/mipso_4707905.html

毫无疑问,如今的世界正在以加速度进入到智慧时代,特别是随着各项业务的云化深入以及万物互联,数据处理能力的进一步提升,智能算法一次又一次的突破,以及信息技术在传统产业的更密集的渗透,逐步形成了云计算、物联网、大数据、人工智能、工业互联网在内的五大场景,即“物理世界信息化、信息世界智能化。”

不仅如此,越来越多企业级客户的应用部署范围也从数据中心扩展至公有云、私有云和混合云模式,其应用服务的复杂性和多样性也在快速上升,由此也给存储在内的基础设施带了一系列巨大的挑战。

在此背景下,日前武汉举办的GSS18全球闪存峰会上,浪潮存储提出了一个全新的技术战略,即做好数据和介质的连接者,以便更好的承接云计算、物联网、大数据、AI、区块链等各种新智能应用,满足企业级客户在新数据时代对存储的新要求。

在我看来,浪潮存储最新的技术战略和全新定位,不仅是浪潮存储面对客户需求的最新举措,也是其在新数据时代行与思的体现,更是其新突破和新跨越的印证。

新数据时代存储三大变化

在浪潮存储研发部总经理李辉看来,“物理世界信息化、信息世界智能化”带来的结果是,越来越多的海量数据正呈现出爆炸式增长,整个数据存储产业也发生了翻天覆地的变化,这也意味着新数据时代的到来。

第一,新数据时代的第一大变化,是一方面半结构化、非结构化数据呈现持续爆发式增长,另一方面数据之间的智能交互和融合提出更高需求。

例如,郑州铁路公安也开始使用人脸识别墨镜保障春运安全,对人像识别的响应速率达到了毫秒级,极大地提升了安防效率;再如,阿里推出的刷脸支付,将生物识别技术首次提高到了商用级别的精度。

李辉说:“通过上述案例可以看到,在大数据的处理过程当中,数据有一个放大效应,即原始数据要得出一个结果,数据就要放大一千倍。一方面是应用产生了更多的新数据和次生数据,同时这些数据又是互相关联和交互的。”

第二,新数据时代的第二大变化,是随着智能应用的广泛普及,企业级用户对性能的追求也是永无止境的。如今,PB已成为通常的衡量单位,一些行业甚至开始出现EB级存储需求,同时存储性能的要求也更高,某些核心应用已经要求百万级IOPS、TB级带宽。

确实如此,在全面云化时代,很多客户的应用可能多达几十种、上百种,这背后意味着需要几百个、甚至上千个虚拟机作为应用的承载,而作为它的整个基础设施,存储集群的规模也会很大,由此又对存储性能提出了更大的挑战。

第三,新数据时代的第三大变化,是对数据的智能管理和流动提出了更高要求,需要对几百个乃至更多的数据存储节点提供一体化管理运维并保障数据的流动。

所以,结合上述三大变化趋势,浪潮提出了一个新的存储技术战略,即做好数据到介质的连接者,核心是用新的介质技术,重构和改造原有的存储架构,来满足现在能够看到的,而且在未来越来越多的大数据应用。

做好数据到介质的连接者

为此,浪潮定义了三个新的目标:亿级IOPS,EB级容量以及易用,其分别对应新数据时代快数据、大数据和管理运维的需求。

浪潮存储研发部总经理李辉

首先,针对快数据的需求,浪潮存储将在硬件重构和软件定义两个方面下功夫。在硬件重构方面,浪潮计划由传统的以CPU为中心的架构切换到以DPU为核心的硬件架构,通过DPU实现各个单节点之间的加速,进而提升整个架构的性能。

而在软件定义方面,浪潮采用自研的基于NVM的文件系统,从底层优化了基础的数据结构和算法,实现NVM免转换快速读取,确保高并发下的数据一致性。此外,该文件系统还支持异构混合内存资源池,不仅能优化性能,并能兼顾系统的一致性、时延、可靠性、扩展性等指标。

其次,针对大数据的需求,浪潮通过构建混闪的统一分布式存储UDS,实现了一套架构融合块、文件、对象、大数据四种数据服务。同时,浪潮基于整机柜融合架构和“InSDS”软件的软硬件协同方式,通过释放软件定义存储的潜力,进而实现服务按需适配、性能按需供给、容量按需扩展,满足用户对非结构半结构化数据的存储、管理、共享、流动、挖掘、分析、归档、容灾等应用需求。

此前不久,浪潮软件定义存储AS模拟真实业务环境的测试震撼了业界,整个集群裸容量达到72PB,共节点,其中元数据集群节点,系统实测性能达到万IOPS、GB/s聚合带宽,性能可随节点规模的增加而呈拟线性增长,也从一个侧面证明了浪潮有能力,也有实力应对大容量数据需求的挑战。

最后,围绕易用的需求,浪潮提出双态存储的理念,即存储系统根据用户需求和使用场景的不同,采用大容量型和高性能型的配置来满足业务的需要。

目前,浪潮定义了云计算、大数据、高性能、视频监控、媒资、互联网+、超融合七大一级场景和超过上百个二级应用场景,并针对场景开展存储系统的深度优化,将新数据时代的应用与技术在浪潮的存储产品上实现了对接和落地。

在此基础上,浪潮存储还将支持SCM、NVMeSSD、SASSSD、HDD,支持异构介质的多层分层,提供文件、对象、块的统一接口,同时全面和云对接,支持主流的公有云和私有云,也支持云备份、云缓存、云分层等功能。

对此,李辉表示:“通过在亿级IOPS,EB级容量以及易用三个维度上不断发力,浪潮希望把数据到介质之间的连接做好,把数据和应用之间的传递做好,在新数据时代担当更为重要的角色,承担更为重要的使命。”

浪潮存储新突破与新跨越

据介绍,为了实现上述新目标,浪潮存储在研发、交付、生态合作等各个环节都加大了投入力度,具体来看:

一是,在研发层面,浪潮存储延续了浪潮集团的研发体系,目前有五个研发中心和六个研究机构,未来浪潮将会继续加大研发投入的力度,围绕新数据时代的需求打造适合客户需求的存储。

二是,在交付层面,浪潮存储提出了“研发即服务”的新理念,并将研发、服务、售前、方案等团队,整合成了一个上百人的队伍直接对接客户,这也是国内最大规模的把后台技术力量派出来跟客户深入交流、战斗在一线的公司。

实际上,翻开浪潮存储的PB级大工程名单,可以看到分布式存储AS在某资源中心一套70PB、某运营商数十套每套PB级系统、统一存储G2在某脑科学高性能计算25PB、某六大银行云计算数百套几十PB的大型应用。可以说,如今在金融、通信、政府、企业、互联网、媒资、医疗、教育等行业,浪潮存储在其中都实现了众多大规模部署,也说明了浪潮在交付和客户服务层面得到了认可。

三是,在生态合作层面,浪潮还积极推进中国存储产业的技术演进与应用。作为存储产业技术创新战略联盟理事长单位,浪潮带领联盟连续5年获得科技部评选的高活跃度联盟殊荣。同时,浪潮还参与了13个国家标准的制定,其中有3个存储领域,包括磁盘阵列、网络存储和备份存储的基础标准是由浪潮主导的。

值得一提的是,战略性的长期投入、不断在行业精耕细作以及以开放心态展开对外合作,无疑也让浪潮存储实现了快速发展。

在IDC日前正式公布年第一季度《中国企业级存储系统市场调查数据报告》中,浪潮存储还以出货容量.4PB位居中国市场第一,出货量增速.7%,以六倍业界的增速引领市场。

可以说,这些成绩的取得,无疑是浪潮存储多年来在技术创新上的积累,最终实现了厚积薄发,产品实力的和技术创新的不断提升,使得浪潮存储不断跑赢大市,实现了新的突破。

更为重要的是,不断的技术积累和市场实践验证,又为浪潮存储积蓄了新的势能,为其五年之内冲击全球第五的新目标,实现新的跨越式增长奠定了基础。

全文总结,存储市场正随时代不断演变和进化,这就必须要求供应商提供的更有创造力的产品和方案,同时必须紧紧围绕用户最迫切的需求不断创新,而这正是浪潮存储在新数据时代,不断自我颠覆、并求新求变带给整个业界最大的启示。

1
查看完整版本: 做好数据到介质的连接者新数据时代浪潮存储