应云而生:SDS如何定义云数据中心?

作者:  发布时间:2022-08-30  浏览量:323

  

  

  

  近年来,软件定义数据中心(Softwares Defined Data Center,SDDC)业内专家指出,SDDC企业可以以更低的成本获得更灵活、更快的业务部署、管理和实现。SDDC概念从诞生之日起就长盛不衰。

  存储软件定义(Software Defined Storage:SDS)的好处与SDDC同样的优:业务支持带来的更快、更灵活的敏捷性;资源的灵活性可以根据业务需求动态扩展;以及避免重复硬件投资和资源浪费造成的成本节约的软件定义机制。

  事实上,传统存储无法应对企业私有云的扩展、性能和价格建设。软件定义存储已成为云数据中心的最佳解决方案。对于云数据中心,SDS可谓生逢其时。

  因此,对于企业用户特别关注的存储系统扩展、性能等核心问题,SDS如何应对系统设计?目前行业有哪些选择?SDS解决方案呢?

  带着这些问题,我们一步一步走近SDS的世界。

传统存储面临生死挑战

  近年来,随着云计算和大数据技术的快速发展,用户的新业务层出不穷,数据规模呈指数级增长。传统存储的局限性被无限放大,日益成为制约业务增长的瓶颈。传统的存储模式无法直接满足云计算平台对存储的诸多要求。

  包括传统存储SAN、NAS企业云数据中心的建设存在三个明显的局限性。

  1.扩大瓶颈,传统集中存储的控制器数量难以扩大,严重限制了系统性能和容量。

  二:运维管理复杂,传统存储结构复杂,系统部署周期长,操作管理难度大,运维人员素质要求高。

  三:硬件定制带来的高成本。传统的存储主要使用特殊的硬件,用户采购成本高,容易形成制造商的依赖。异构存储平台之间的数据连接也会增加用户系统的难度和成本。

  由于传统存储存在这些不足,云数据中心对存储的具体需求是什么?

  首先是数据的可靠性。生产数据是企业生存的关键,数据在任何情况下都不能丢失。

  二是云规模的扩展要求。存储系统应能够根据业务需要可持续扩展,容量可以从TB平滑扩展到PB性能也可以线性增长。

  第三,高性能。存储系统应能够有效地发挥新的存储介质(如 NVMe SSD)同时,系统资源的消耗应尽可能低。

  最后是成本问题。包括存储系统的采购和运维成本。采购成本应考虑软硬件采购价格,运维成本是系统运行过程中的维护成本,主要是人工成本。

  当然,企业在构建在线存储系统时也会有各种有针对性的需求,如:多租户支持、服务室IO隔离等。

SDS应云而生

  需要注意的是,SDS与以往企业级存储领域的存储虚拟化有本质区别。SDS是一种脱胎SDDC新的存储管理模式是软硬件松耦合的一种方式,允许服务器直接访问底部存储设备;存储虚拟化是管理异构硬件的统一存储管理模式,可扩展性较弱。

  其实,SDS其兴起与大数据、社交媒体、移动和云的发展以及影响和主导企业用户业务的创新无关。包括谷歌、FaceBook、阿里巴巴云、百度、腾讯等、公共云制造商、社交媒体企业都采用软件定义存储方案,实现自己更好、更低的数据存储模式,在长期应用过程中也在推广SDS优化创新技术架构。此外,开源云计算产品如OpenStack、Ceph在很大程度上促进了广泛的应用SDS普及企业用户。

  全球第三方分析机构IDC分析:软件定义存储: (SDS)其存储控制软件与基本硬件完全不同。SDS 在工业标准中运行(COTS)硬 以云规模交付的完整存储服务。当然,SDS可作为单独的系统部署,也可作为云框架部分部署。SDS 支持文件、块和对象等各种数据组织模式的解决方案,支持资源配置和交付模式。

  当然,SDS软件定义存储可以帮助用户在公共云、私有云和混合云环境中实现资源整合和自动化管理,更好地利用企业数据,发挥其最大价值。

  事实上,在医疗、金融、媒体等领域,SDS中国移动、中国电信等运营商建立的通信数据中心等解决方案已被证明非常成功SDS其高扩展性、高灵活性、高性能的分布式存储架构得到了长期的验证,其投资回报率(ROI)显著改善。可以说:SDS企业梦想着帮助企业用户构建高性能、高可用性、高扩展性、高性价比的基本存储系统。

怎样的SDS云数据中心更适合设计?

  首先,将数据的可靠性植入系统基因中。同时,系统应能够提供灵活的数据保护策略,使客户能够根据业务需要设置数据保护水平。

  其次,在架构上,要抛弃传统存储系统中的集中元数据服务器,抛弃系统的可扩展瓶颈,让系统插上可扩展的翅膀。

  再次,一个良好的SDS为了最大限度地发挥硬件性能,限度地发挥硬件性能,如减少IO提高网络并发性等。

  最后,需要支持快照、克隆、精简配置等对客户极具价值的附加功能。

SDS牛的性能在哪里?

  从SDS从市场发展趋势来看,云数据中心对软件定义存储系统的需求将越来越大。这里特别介绍两个国内外SDS存储系统。

  一个是业内有名的EMC收购过来的ScaleIO,一个是上海霄云信息技术碧海存储系统BlueOcean Stor。

  ScaleIO是在2014年初EMC以色列存储制造商提供的块存储解决方案。ScaleIO采用标准硬件,通过软件定义为应用程序提供高可靠性、高性能、高可扩展性的存储能力。ScaleIO可在单一集群中扩展到数千个节点。

  ESG在ScaleIO报告指出,ScaleIO通用硬件可以构建灵活、集成、可伸缩的数据平台。

  

  

  

  由于集群中的每个服务器和本地存储设备并行处理I/O操作和保护数据有利于在配置中添加额外的服务器和存储设备,具有线性扩展的系统性能。ScaleIO数据资源的自动重建和重新平衡,存储和服务器的添加和删除不影响系统运行或停机,从而实现系统的自治和自愈能力。

  

  

  请点击此处输入图片描述

  ESG实验室最小配置3节点ScaleIO集群,使用思科UCS-C240M3S配备两个10核心2的服务器.8Ghz Intel Xeon E5-2680v2 CPU,内存为 ** GB。每个服务器使用一块美光P320 700GB PCIe闪存卡作为数据存储。使用FIO4.软件KB随机读,ScaleIO660k的IOPS,平均每个节点220k的IOPS。

  

  

  

  

  

  

  ESG在相同的硬件环境下,32节点相继完成, ** 节点和128节点。

  其中:128节点集群随机读取IOPS超过3100万IOPS, 混合工作负载(70%读30%写)场景IOPS可达2670万。出乎意料的是,在128节点中随机阅读IOPS每个节点节点24万,但3节点的结果是每个节点随机读取IOPS为22万。ESG没有解释平均每个节点IOPS差异2万的原因。后来仔细看了一遍ESG报告显示,内存模拟硬盘在128节点中使用,内存速度自然高于PCIe闪存卡,ESG还说明了结果ScaleIO的单节点IOPS上限为24万。

  需要注意的是:ESG将客户端与存储节点混合部署在中,会造成一定的性能损失。

  对于ScaleIO性能伸缩性可实现3节点和32节点 ** 确实说明了节点和128节点的分别测量EMC土豪,也证明了EMC对于ScaleIO性能的重要性和客观性。我不得不佩服这一点EMC ScaleIO严谨客观的态度。

  然后,小云科技自主设计的碧海存储系统BlueOcean Stor表现如何?

  

  

  

  霄云BlueOcean Stor管理模块的分布式块存储解决方案架构系统组件(Monitor)、数据服务模块(DS:DataServer)、访问模块(客户端) BClient、iSCSI ** 等)组成。

  管理模块(Monitor)主要负责集中的系统配置、管理、状态监控和系统拓扑分发。管理模块部署在两个不同的存储节点上,以提供高可用性的服务。

  数据服务模块(DS:DataServer)主要提供数据读写服务。每个存储节点都部署了数据服务模块,存储节点完全平等,存储节点可以大规模扩展。

  访问模块主要为不同的应用类型提供存储系统访问接口。访问模块包括 Native客户端、iSCSI ** 、NFS ** 等等。访问模块可以智能地感知数据是否位于本地,并提供最短的I/O访问路径。

  分散的架构设计,让小云BlueOcean Stor单集群可以轻松地将传统存储中元数据服务器带来的扩展瓶颈扩展到数千个节点。

  支持同的存储节点和机架中保存数据副本,支持磁盘、节点、机架多级容错。BlueOcean Stor采用在线和离线修复机制,确保数据高度可靠。在线修复机制在数据访问过程中实时检测数据损坏并进行即时修复,而离线修复机制定期扫描系统数据集并修复损坏数据。

  智能IO修复。BlueOcean Stor可根据系统I/O负载,自动调整修复率,减少系统工作时对正常业务的影响,并在系统空闲时以最大的速度修复数据,降低数据丢失的风险。

  霄云BlueOcean Stor从通信协议设计、编解码方式、缓存管理算法、I/O 调度算法、基于事件驱动的高并发编程模型、基于零复制的缓冲区管理等关键环节进行了优化设计,充分发挥存储硬件性能,满足云计算数据中心虚拟机、数据库等业务IOPS性能要求低延迟。

,让我们知道你到底怎么样?

  所谓光说不练假把。存储基于软件定义SDS 设计理念,采用分布式架构的块存储系统BlueOcean Stor性能几何?

  作为SDS,霄云科技只靠自己的财力,做不到EMC ScaleIO分别针对32, ** 、业内朋友也知道,没有1000万元的预算,很难实现128节点的实测。然而,小云科技在企业用户自身环境的基础上,找到了中国银联电子支付研究行了两批。让我们来看看中国银联电子支付研究所的小云BlueOcean Stor两次。

  中国银联电子支付研究联电子支付研究所采用的硬件环境是:用例服务器是浪潮服务器NF5270 M3.有两个8核心 2.4Ghz Intel Xeon E5-2630v3 CPU,配置了32GB RAM。部署4个存储节点,每个存储节点挂载了4块600G容量的Intel DC S3500 SATA SSD盘。

  数据保护级别为双副本模式,最终结果显示:4k随机读IOPS达到83.平均单节点20万.8万;4k随机写IOPS达到32.15万,平均单节点8万。显示了良好的线性扩展能力,四个节点的集群性能是单节点性能的4倍,充分发挥了作用SSD盘的性能。

  过程中,系统运行稳定,压力中未出现明显的性能波动。

  中国银联电子支付研究银联电子支付研究硬件环境:浪潮服务器NF5270 M3.配置两个8核心2.4Ghz Intel Xeon E5-2630v3 CPU,配置了32GB RAM,每个节点配置一块1.2TB容量的Intel P3600 PCIe SSD盘。

  

  

  

  P3600 PCIe SSD性能指标还不错,采用了PCIe消除了传输接口SAS / SATA瓶颈问题,性能大大提高,官方标注性能随机读取可达2800MB /S,IOPS达到46万机写入19000MB/秒,IOPS达到9万 。

  此外,值得注意的是,中国银联电子支付研究院采用了万兆网卡双端口绑定的方式,更有利于存储软件的真实性能。

  结果惊人:4KB随机读IOPS性能值达到143万,单节点平均为35.75万;4KB随机写IOPS性能达到43.平均单节点5万元.8万。还表明,在提供性能更强的硬件配置条件下,BlueOcean Stor性能更好。这绝对是土豪用户的福音。

  除了中国银联电子支付研究所的两次外,上海市教育委员会信息中心也进行了BlueOcean Stor的特定场景。

  上海市教育委员会信息中心部署了20个规模的小云BlueOcean Stor节点,采用浪潮服务器,配置两颗16核的2.5Ghz Intel Xeon E5-2682v4 CPU与128GB RAM,其中10个节点每个配置12个800GB SATA SSD,另外10个节点每个配置12块4TB SATA 硬盘。

  根据用户业务需求创建了两个存储池,一个是SSD存储池,10个节点总计容量96TB;另外一个是SATA磁盘存储池,10个节点总计容量为480TB。

  

  

  请点击此处输入图片描述

  为了评估系统性能,首先在配置SSD的服务器上使用FIO软件进行本地性能,单个SSD的随机读为6万,12个SSD盘总的随机读IOPS为24.3万,这说明单个服务器的RAID卡性能上限就是24.3万IOPS。

  使用10节点客户端,BlueOcean Stor表现如下:

  

  

  

  表明了,10个存储节点的随机读性能为243万IOPS,达到单个节点本地性能的10倍,说明霄云BlueOcean Stor具有不错的线性扩展能力。

  霄云BlueOcean Stor系统部署相当快捷,20节点240个盘的存储系统在15分钟内就可搞定。

三大解决方案谋定SDS

  无论是被国际权威分析机构认可的ScaleIO,还是国内霄云BlueOcean Stor,在性能、扩展性上都表现不俗,那么软件定义存储在云数据中心都有哪些具体应用场景呢?

  霄云BlueOcean Stor相关人员指出,包括虚拟化、云计算、VDI、海量文件存储、企业关键业务的数据库、邮件服务器等场景都非常适合使用。霄云BlueOcean Stor基于分布式块存储技术,为客户提供整套存储解决方案,已经在金融、教育等领域获得了成功应用,也为自己在SDS领域的进一步发展赢得了更广阔前景。

  方案一:云计算、虚拟化与VDI应用

  当前,云计算大行其道,各种云平台层出不穷,代表性的有VMware vCenter、Openstack、ZStack,霄云BlueOcean Stor不仅对主流云平台有着完善的支持,也支持主流的虚拟机VMware Vsphere、KVM、Xen、Hyper-V,更是利用其高效IO性能完美解决了让用户头疼的虚拟机启动风暴问题,也能够让用户真正享受到云计算带来的敏捷性与按需扩展的能力。

  

  

  

  方案二:传统企业核心业务数据库、邮件服务器等应用

  

  

  

  软件定义存储系统对标准化协议的完整支持也让用户受益匪浅。如霄云BlueOcean Stor支持标准的 IP SAN 协议iSCSI,支持Windows、Unix、Linux等操作系统,支持VMFS、GPFS等集群文件系统,可取代传统的SAN存储。这样,企业的核心业务(如数据库系统、邮件系统等)在迁移至新兴的SDS系统时便不再有任何阻碍。

  而且,相比于传统SAN,BlueOcean Stor的iSCSI ** 可随系统扩展而增加,进一步打破了传统SAN的机头数量瓶颈,系统吞吐量更大,延迟更低。

  方案三:海量文件存储应用

  海量无结构化数据存储也是企业当前面临的难题之一。霄云BlueOcean Stor的全分布式架构设计,结合其天生的高性能、特色的数据分布、高效可靠的数据保护技术,在文件共享、医疗图像、归档与备份等场景中具备广阔的应用空间。

  

  

  

  都有自身的行业优势与发展特点,霄云科技凭借三大行业解决方案,针对企业用户的云计算与数字化转型的需求,提供更为灵活高效、随需扩展、高性价比的SDS方案,势必吸引更多用户的关注与合作。

小结:SDS商业价值凸显

  诚然,SDS目前的市场规模与传统存储阵营相比还相对弱小。但是来自软件定义存储催化的商业价值,却表现得越来越明显,影响力也越来越大。

  北美已有差不多50家左右的SDS,国内与SDS也有近40家。而且,目前全球所有服务器与存储厂商,几乎没有哪一家不支持SDS解决方案,可见大家对于SDS所带来的商业价值还是非常认可,积极投身于存储行业的下一波技术浪潮。

  展望未来技术变革,云计算与大数据还会深入发展,并继续在多行业、多领域得到普及,SDS作为数据中心的核心组件,也势必成为大家争夺的市场高地,其市场潜力还是相当吸引人。(Aming)

  ——阿明/分析评论——

  本文来源:阿明独立自媒体,版权所有,侵权必究,转载请授权

  

新闻推荐

联系人:陈经理

联系电话:13466608836

网安备案号:京ICP备09009921号-4

公安备案号:11010802037456  XML地图

版权信息:Copyright © 2021 北京互联互通科技有限公司 All Rights Reserved.

惊喜优惠