青云QingCloud分布式存储全线升级:向云而生的纯自研存储解决方案

2020-10-27 16:22:34

近几年,企业级存储市场上,正在经历着重大的变化。一方面,分布式存储正在经历快速的增长时期。IDC 2019年市场预测报告显示,无论是对象存储、文件存储还是块存储,在未来几年里都会保持两位数高速增长。另一方面,IDC市场报告显示,全闪存储在所有采用存储的企业里,几乎已经占80%的使用率。全闪存储逐渐成为主流。

面对存储市场的变化,各家云厂商都在积极应对。青云QingCloud 从12年推出云产品开始在底层存储上就以自研的方式进行,经过8年磨砺,积累了大量云环境下的存储的需求和技术实践,由此推出的QingStor产品家族,目前包含QingStor NeonSAN(分布式块存储)、QingStor对象存储、QingStor文件存储、QingStor融合存储等四款产品。

QingStor存储产品线研发负责人王煜

向云而生的存储

目前,QingStor四款家族产品是青云QingCloud最基础存储支撑,包括公有云和私有云。此外,作为底层存储引擎,QingStor能够与多种平台对接,包括VMware虚拟化平台、OpenStack云平台,还包括Kubernetes容器平台。由此可见,QingStor就是向云而生的产品。

目前,QingStor的产品家族已经积累了数万家企业客户,同时部署在公有云和私有云。公有云方面,QingStor全线产品已经上线和部署在青云QingCloud的8个公有云区。在私有云部分,QingStor几乎覆盖了全部主流的行业,拥有非常多的行业客户案例,包括银行、保险、证券、制造、能源、医疗等。

特别值得一提的是,QingStor无论是在公有云,还是在私有云的部署上都是采用同一套架构,以及同一套代码实现,保证产品的一致性,更有利于用户产品的打通。可以看出,作为青云QingCloud存储的基础,QingStor全线产品经过了公有云和私有云共同的检验,并且在大规模生产环境中得到了使用。

QingStor从产生之初,就走上了自主设计、自主研发的道路。特别是在架构设计上,完全采用自主设计,放弃了大多数厂商选择的开源之路,在我看来,这也是QingStor能够在公有云和私有云实现统一架构的最主要原因。

据QingStor存储产品线研发负责人王煜介绍,QingStor四款产品在考虑实际的使用基础上,都采用了独立的架构设计方法。他特别强调表示,企业存储场景的多样性和复杂性,就代表着不能通过一套架构满足所有需求,而"银弹架构"的模式,必然会对某些应用场景做出妥协,最终造成存储性能缺失,所以QingStor也因场景需求分为为热数据、冷数据、温数据以及混合场景。

而最近,QingStor正在进行新一轮的版本迭代,笔者有幸获得其中一些消息分享给读者。

QingStor NeonSAN 3.0

QingStor NeonSAN在设计之初,就希望打造成一款拥有极致性能的分布式存储产品。而在设计上,采用缩短I/O路径栈,去掉本地文件系统,提高协议转换效率等方法,使其拥有了更为优秀的性能。目前,QingStor NeonSAN已经迭代到3.0版本。而QingStor NeonSAN产品线的迭代,完全围绕着核心场景来打造产品能力,具体表现在云平台/虚拟化场景、大数据场景、业务连续性场景以及最近这两年非常火的容器/云原生场景四个核心场景。

第一,QingStor NeonSAN除了可以与QingCloud云平台形成完美的对接、实现云平台层面的统一管理和性能的最大优化之外,还能很好地对接目前大家在业界使用比较多的虚拟化平台、云计算平台,如VMware平台、OpenStack平台、Hyper-V平台。

QingStor存储产品线产品经理冯相东

第二,针对大数据应用常用处理框架Hadoop和Spark,以及一些常用大数据系统所采用的底层HDFS文件系统。QingStor NeonSAN专门做了一些设计,比如提供互斥卷组的策略,即在QingStor NeonSAN层面提供多个单副本的卷。另外,在和HDFS文件系统的对接上,QingStor NeonSAN在性能方面也做了优化。

第三,针对业务连续的问题,青云QingCloud还提供了一整套基于QingStor NeonSAN的、以存储为核心能力的业务连续性解决方案。特别在简化管理方面,QingStor NeonSAN能够跟青云QingCloud云平台一起,统一管理云平台上的计算资源、网络资源、存储资源,提供一整套完整的业务连续性管理的解决方案,满足业务对不同RPO/RTO的要求,大大地简化业务连续性的管理,提高业务连续性的效率。

第四,在功能层面,QingStor NeonSAN提供标准CSI插件,支持与容器卷粒度的管理,以及快照、克隆、在线扩容、QoS等存储高级特性。在性能层面,QingStor NeonSAN可以在整条链路支持端到端RDMA的访问。基于高效率协议的支持,QingStor NeonSAN可以保证容器端应用访问存储的时延控制在微秒级别,基本是0.1-0.3毫秒访问时延的水平。整体上,QingStor NeonSAN可以为K8s、KubeSphere容器平台提供高性能、可靠性、企业级分布式存储的能力。

QingStor对象存储3.0

对象存储是主要解决非结构化数据存储的问题,如海量图片、音视频、日志、归档备份等。这些数据读取的频率并不是特别高,通常是一次写入、多次读取的模型。但是其数据容量、数据数量都是非常大的。因此QingStor对象存储设计的核心是承载海量的数据。在整个架构设计时,采用了完全Share-Nothing的架构,没有任何单点,每一个组件都是可以无限水平扩展,并且保证性能不会下降。特别是新推出的QingStor对象存储3.0更是一款鱼和熊掌兼得的存储服务,兼得海量数据存储和数据存储的超高性能。

QingStor对象存储3.0,在对象版本控制、数据追加写入、数据跨区域复制,以及生态工具四个功能上有所提升。此外新版本还具有新的能力的变化,一方面QingStor对象存储3.0具有更强的、更具优势的存储性能。另一方面QingStor对象存储3.0可以服务于更多的数据应用场景,如数据迁移、数据保护、数据备份、AI视频监控。

QingStor对象存储产品经理贾斌

具体而言,首先,QingStor对象存储3.0中带来了数据跨区域复制,和全新重构的官方工具qsctl和qscamel。通过这些新功能和工具组合的方案,能够做到数据迁移中,对跨平台及复杂场景的全覆盖,这套解决方案是可视化的操作和服务,让用户可以非常简单快捷的进行操作。

其次,QingStor对象存储3.0所拥有的版本控制功能,实现了存储桶(Bucket)内数据的历史版本存储和管理,解决了企业级用户对数据保护的新需求,例如意外删除、意外覆盖、恶意篡改等极端情况。

另外,QingStor对象存储基于通用的X86硬件,以及标准的API接口,可以友好地对接SaaS备份应用,对存储采购成本和运维管理更有利。QingStor对象存储3.0实现了与更多主流厂商做深度兼容,使得数据备份更加简单和易用。

最后,QingStor对象存储3.0带来的新特性有数据追加写入的接口、为智能终端定制的SDK,以及混合云存储的解决方案,在QingStor对象存储里,彻底打通视频影像数据的生命周期,从海量数据存储到数据分析处理,到数据归档。通过SDK让智能终端直接写数据到对象存储,简化了端到存储的流程。平滑对接外部数据AI分析引擎,如数据深度分析、图像识别、机器学习等应用。

QingStor文件存储2.0

青云QingCloud力求打造云计算架构下的,通用的文件存储产品,由此必须在产品上实现拥有通用的标准文件接口,拥有多层次的扩展性,可以同时适配差异化的文件存储需求,这三个重要的能力。为此,QingStor文件存储系统就以此为出发点。

通用的文件接口(posix),是操作系统原生的接口,不需要另行改造就可以使用的接口,而QingStor文件存储2.0使用posix接口,可以有效的降低企业因存储接口兼容性出现的问题。譬如,以HDFS为代表的专用文件系统,这些文件系统仅支持部分标准接口,比如仅支持顺序写,不支持随机修改等等。

QingStor文件存储研发负责人黄蒙

QingStor文件存储研发负责人黄蒙介绍表示,QingStor文件存储的设计目标就是要在支持通用文件接口和通用的网络文件协议的前提下,提供一个可扩展高可用的分布式文件存储系统,这就直接扩大了产品的使用场景。

QingStor文件存储的架构中,青云QingCloud自研了整个文件系统栈,不依赖本地文件系统,搭建了一个真正意义上的统一命名空间。由于允许多个逻辑接入节点,可以同时访问和操作相同的数据,天然具有高可用的能力。在这一架构下, 每一个目录可以承载的容量和文件数量都没有限制。此外,由于每个目录下的内容可以通过多个接入节点同时访问,也使处理能力有了水平扩展性。

另外,为更好的同时支撑不同的业务,QingStor文件存储支持为每一个创建的租户文件系统提供差异化的设置,比如选择副本数,甚至选择文件数据块大小。

值得一提的是,QingStor文件存储2.0采用了Rust语言作为存储系统开发语言,这也给QingStor文件存储带来极大的性能提升。譬如,单个nfs client的fio性能测试数据,其中4k随机读写IOPS提高了200%以上,64k的顺序读写也有大约1倍的提升,效果非常显著。

黄蒙表示,QingStor文件存储旨在打造一款在云计算基础架构下更加通用的文件存储产品,我们希望能通过这款产品帮助更多类型的应用更平滑上云,享受到更好的云计算基础设施带来的便利。

总结来看,QingStor源于云,天然向云而生,是云计算环境下优秀的存储解决方案,能够更好的适应当前市场需求。

关闭
精彩放送