SDS增势迅猛 青云QingCloud如何用新技术支撑企业关键应用

　　基于x86架构的SDS存储解决方案正进入企业级存储市场，逐步替代原有的传统SAN存储产品。

　　1:IDC追踪报告：SDS增势迅猛

　　据IDC在2017年9月发布的预测报告显示，从2017年到2021年，SDS在全球的营收将从2016年的85亿美元增长到2021年的161亿美元，年复合增长率达到13.5%，而其中，由于HCI市场的不断扩大，用于HCI的SDS全球营收的年复合增长率将高达26.6%。

　　IDC预测，从2017年到2021年，SDS在块数据、文件数据、对象数据以及HCI等细分市场的营收将持续增长，其中SDS在HCI方面的年复合增长率将高达26.6%，SDS总体年复合增长率达到13.5%。

　　SDS与HCI之间有着非常紧密的联系。SDS是HCI的重要组成部分，但HCI以“一体化”整体解决方案的交付方式先于SDS获得用户市场的认可，为与更早时候出现的服务器+传统SAN一体交付的“融合基础设施(Converged Infrastructure)”相区别，HCI因为其计算与存储更加紧密地部署在同一物理服务器节点上，故被称之为“超融合基础设施(Hyper Converged Infrastructure)”。随后，软件定义存储(Software Define Storage，SDS)的概念被提出，HCI中的存储子系统——基于x86商用服务器的分布式存储系统，被看作是SDS在产品实现上的典范，进而在用户市场获得迅猛增长。

　　另一方面，HCI融合了计算、存储以及网络子系统形成一体化的整体解决方案，而计算子系统的成熟度较高，多种可选计算子系统的性能水平并无明显差距;并且在网络方面也无特别需求，反倒是存储子系统的性能水平成为HCI方案的关键，直接决定了HCI综合性能发挥。换而言之，HCI的成功帮助SDS进入更多企业用户的视野，而HCI的成功又有SDS不可磨灭的功劳。

　　SDS是HCI不可缺少的基石，在HCI场景下，SDS控制器多安装在单独的虚拟机上或作为Hypervisor中的一个进程，但因为都是基于x86商用硬件，所以SDS控制器是安装在物理机还是虚机内，在技术上并无本质区别。随着市场对SDS的接受程度越来越高，为了更灵活地满足不同应用场景下对存储提出的不同性能需求，存储与计算(应用服务器)分离部署的场景也在增多。基于x86服务器独立部署的SDS方案，因为软硬件解耦，不依赖特定硬件等特性，在独立部署时，SDS能够根据不同环境提供块数据、文件数据以及对象数据等对应的存储接口。

　　如图一所示，SDS与HCI融合部署仍是其主流应用场景，但用于满足块数据、文件数据以及对象数据存储需求的独立部署模式也获得了较高的年复合增长率。即使是年复合增长率最低的块数据存储市场，SDS方案也有接近5%的年复合增长率，预计到2021年，其全球营收将达到2.5亿美元左右。增长率虽然最小，却有非凡的意义，块数据存储在以往都主流使用传统SAN存储，而SDS在块数据存储市场的增长，意味着其将逐步替代传统SAN存储。而在块存储市场，SDS的另一个名字更为知名——Server SAN。

　　SDS在中国市场的销售额也正飞速增长，且与全球市场不同的是，Server SAN的增长率高于全球平均水平，中国用户对Server SAN的接受程度更高。据IDC今年3月发布的HCI与SDS在中国市场的细分报告显示，HCI和SDS在2017全年销售总额分别超过了3.7亿和4亿美元，而其中2017年第四季度的销售额分别达到了1.57亿和1.5亿美元，均超过了全年销售总额的三分之一。

　　据IDC最新报告显示，与2016年第四季度相比，2017年第四季度，HCI和SDS的销售额同比了增长188.6%和176.9%(图表来源于IDC)，Q4的销售额几乎占据了全年销售总额的三分之一

　　2：全闪Server SAN：将替代传统SAN

　　Server SAN这一分支的诞生，标志着SDS开始进入主流市场，在产品布局上完成了对企业主流应用场景的覆盖。而Server SAN本身所具有的三大特点也使得其替代传统SAN存储成为可能：

　　首先，Server SAN都是基于标准的x86商用硬件，或者说，Server SAN的核心是软件，其可以安装在任意x86服务器之上，而非像传统SAN存储那样需要有专门设计的存储硬件。这就使得其具有灵活的部署选择，既可以独立部署(如Server SAN)，也可实现超融合部署(HCI)。

　　在存储资源方面，SSD是必选项，用以加速硬盘，这使得其性能保持在一定水平之上。同时，随着闪存单位成本的下降，用闪存全面替代硬盘可以提供更高的存储性能，相比于硬盘，闪存的每IOPS成本和IO响应时间都有巨大优势，而与这两大特点最契合的就是以数据库为代表的企业块数据存储场景，这也是传统SAN存储最主要的阵地，全闪存配置SDS用以满足块数据存储需求，即Server SAN。

　　并且，相对于传统SAN存储需要专门的存储网络(如FC、IB或iSCSI)，Server SAN与前端计算采用相同的以太网络，不仅能够降低网络的复杂度，也有助于成本节省。

　　随着具有更高性能的NVMe SSD以及支持RDMA技术的25GbE网络走向普及，相比于传统SAN专有硬件设计，Server SAN只需从软件堆栈上作出改变就能利用新技术带来的性能提升，这将极大地推动了Server SAN进入企业关键应用领域，同时也给创新型SDS提供商带来弯道超车的机会。

　　据IDC的预测数字显示，到2022年，中国市场的SDS产品年销售额将突破10亿美元，HCI的年销售额也将接近9亿美元。2017年，HPC、VSS、流媒体、云原生应用、归档、VDI以及DB等应用场景成为SDS产品的主要增长领域。其中VDI和DB都属于块数据存储场景，而块数据存储场景在以往通常是传统SAN存储的“天下”，但SDS在这两个场景的增长分别超过了60%和30%。这意味着Server SAN正在逐步取代传统的SAN存储。

　　旺盛的市场需求正促使诸多新兴供应商加入到HCI市场当中，HCI以一体化交钥匙的方式交付给用户，大幅简化了部署实施过程。而HCI重存储的特点也让在SDS领域有经验积累的厂商能够迅速加入进来。其中较为典型的例子就是青云QingCloud，青云QingCloud原本是一家公有云服务提供商，在2017年提出了“全模云”概念，同时支持分布式和集中式业务架构的云端部署，希望根据不同用户不同应用场景下的不同需求提供灵活且适宜的产品或组合解决方案，推出了包括Bare Metal(裸金属服务器)、NeonSAN以及RadonDB等多种满足企业用户所需的产品及服务。其中NeonSAN是面向企业关键应用负载所推出的一款新的块数据存储产品(Server SAN)，同时也可以作为其青立方超融合系统的底层多维存储选择之一。

　　青立方超融合系统从2017年第三季度才开始被IDC纳入统计，近下半年两个季度，就占据了4%的中国地区市场份额，即使放到全年来看，青云QingCloud占据了3%左右的市场份额(数据来源：IDC)

　　3：QingStor NeonSAN：新技术支撑企业关键应用

　　青云QingCloud 自主研发的QingStor NeonSAN是一款符合软件定义存储理念的分布式存储系统，其支持HDD、SATA SSD、NVMe SSD乃至Intel Optane等多种存储介质，并可选10GbE或新一代25GbE网络，通过不同的硬件组合，能够为不同应用场景下的不同存储性能需求提供灵活选择;同时也能根据应用特点融合部署在虚拟化环境(HCI)，或者分离部署在商用x86服务器之上(Server SAN)，Oracle RAC、SQL Server等核心数据库集群、物理机和容器高可用架构、大数据分析计算等应用场景都有相匹配的NeonSAN产品。经过E企研究院的测试结果显示：在采用NVMe SSD+25GbE(RDMA)技术后的NeonSAN，其单卷(Volume)可提供不低于10万IOPS的随机读写性能，容量可扩展到100TB，单个NeonSAN节点随机读写性能最高可达50万IOPS。

　　QingStor NeonSAN主要有四个大的功能角色组成：

　　(1)Zookeeper用于集群管理，进行注册发现服务，新加入的NeonSAN节点会自动注册到Zookeeper;

　　(2)中心节点(Center Node)用于NeonSAN的控制节点，类似SDS中的控制平面(Control Plane)，通过一主多从模式来实现高可用，当主控制节点不可用时，通过Zookeeper可以自动产生新的主控制节点;

　　(3)元数据信息存放在MySQL Plus数据库中，MySQL Plus是一个分布式数据库集群，可以分布到所有NeonSAN之上，主控制节点可自动访问MySQL Plus以获取元数据信息;

　　(4)Store Node主要用于数据服务，类似SDS中的数据平面(Data Plane)。

　　QingStor NeonSAN通过多副本机制来保证数据的高可用，副本数量可以设置为一、二、三或更多(默认为三)，接收到应用服务器的写请求之后，其在写入主副本的同时，Replicator进程会同时将数据副本发送到其他NeonSAN节点，当主副本与从副本的都写入成功之后，再返回应用服务器写入成功，这种机制保证了数据各副本之间的强一致性。

　　NeonSAN数据写入流程图，在全闪存阵列中，NeonSAN内部存储网络使用支持RDMA技术的新一代25GbE网络，利用RDMA，数据本地写入与远程节点数据写入拥有几乎一致的响应时间，这可大幅降低NeonSAN数据写入延迟.

　　除了数据存储的高可用之外，存储系统还需要关注存储网络的高可用。与传统SAN存储的双控制器或多控制器来实现高可用不同，青云NeonSAN的存储网络高可用是通过交换机和数据链路的冗余来实现高可用，如下图所示：

　　每个NeonSAN节点上都配备了2张双端口网卡，每个端口都连接到不同交换机上。其中互为冗余的两台前端交换机作为服务网络，即为前端应用服务器提供数据读取服务;两台支持RDMA技术(即RoCE，RDMA overConverged Ethernet)的25GbE交换机作为数据网络，主要用于NeonSAN的多副本写入等数据交换操作。

　　作为支撑企业关键应用的数据存储解决方案，NeonSAN在注重高可用性的同时，也致力于提供更高的性能。因此，在NeonSAN开发过程中，简洁是第一原则，所有存储软件堆栈都以“简单”为第一优先级以充分发挥NVMe SSD的高性能优势。

　　除了对IO路径进行优化之外，NeonSAN还提供了诸多企业存储常用功能，比如标准iSCSI接口支持，和最新的NVMe over Fabric规范支持，以及多路径故障切换、无中断的数据恢复、迁移和容量均衡等功能。

　　QingStor NeonSAN通过多副本与多数据链路的机制达到数据存储与服务的高可用，利用NVMe SSD+25GbE(RDMA)来提升存储性能，辅以“简洁”的存储软件堆栈最大限度发挥NVMe SSD的高性能优势，并支持多种企业关键应用常用功能来满足不同应用场景下的存储功能需求，这一系列特点已经让NeonSAN具备了替代传统SAN存储的基础。目前，青云QingCloud正在引入Intel提出的SPDK，以进一步提升NeonSAN性能。

　　在下一篇文章中，E企研究院将针对企业关键应用场景特点，构建一个贴近真实的Oracle RAC数据库应用环境，用以评估QingStor NeonSAN在真实环境中的性能表现，欢迎继续关注!

　　来源: 原创： E企研究院  DT时代