软件定义存储出现的两大背景
随着个性化、物联网的发展,数据以前所未有的速度迅猛增长,据IDC数据显示,预计2020年将达44ZB的数据量,因此,数据需要更高效,更省成本的方式存放。其次,虚拟化、云计算和硬件技术的发展,使得软件定义成为可能。与此同时,用户的思维方式也发生了转变,逐渐意识到,快速、敏捷、灵活地获取计算资源已经成为可能,并且逐渐要求能按需使用,按需付费。因此,作为虚拟化和云计算里重要的组成部分,存储也应适应新的需求而不断完善,做到存储即服务,实现快速交付,动态调整。
软件定义存储核心技术
下面我们就来剖析一下,是哪些技术的发展,使得SDS在未来几年内会成为主流?
二三十年前,CPU的处理能力较弱,内存较小,单块磁盘的性能和容量都较小。为了不抢占宝贵的CPU和内存资源,也为了提高数据的性能、可靠性(如RAID保护)、可用性(如快照,容灾,双活等)、扩展性,以及提供方便易用的集中管理,诞生了外置磁盘阵列(也叫集中存储),阵列本身自带智能控制器,能够组织管理数据,并提供快照、容灾等高级的软件功能。然而,近几年来,新的技术显著地改变了存储架构。包括:
- SSD技术:延时从磁盘的毫秒级缩短到亚毫秒级(0.1毫秒),性能从单块15K磁盘的180左右IOPS,猛增到单块SSD的8000 IOPS(外置磁盘阵列),甚至到单块SSD的36000IOPS(内嵌在服务器里的SAS或SAT接口的SSD,或者PCIe SSD);闪存价格的下降速度比硬盘更快,根据IDC预测,两者价格曲线将于2015-2017年出现交叉,届时单位GB的SSD的价格甚至低于单位GB的15K磁盘的价格。
- CPU多核技术:服务器的CPU多核早已被业务应用利用起来,尤其在虚拟化环境里,多核处理器功不可没,既提高了处理器利用率,也提高了单台服务器上用户对更多I/O的需求,这其实也驱动着底层存储需要变革。如前所述,绝大多数存储控制器采用了X86架构,但真正利用其多核处理IO,从最近三年才开始。正是有了多核的利用,Server SAN得以在处理业务应用之外,心有余力地去处理或优化IO,实现丰富多彩的存储软件功能。
- 高速网络技术:分布式存储借助于节点之间的缓存(用SSD存放)的同步复制来确保数据的冗余性,也得益于近些年来网络的高速发展;通常推荐采用万兆网络,甚至有的采用四万兆(40GbE)的网络。目前,万兆网络的延迟非常小,大约在100 微秒左右,远小于PCIe闪存的延迟1毫秒;如果采用RDMA技术,延迟能更小;
- 大容量服务器和磁盘:分布式存储借助于大容量的服务器和磁盘,也能够提供以往外置磁盘阵列才能支持大存储容量。例如,DELL PowerEdge R730XD最多16个3.5寸近线SAS盘,可支持多达近100TB的裸容量;另外,单块的机械磁盘容量也越来越大,例如,2015年03月,HGST首次向公众展示了10TB的机械硬盘;这样,不远的未来,仅凭服务器内置磁盘,即可支持100多TB的裸容量。如果还支持服务器连接直连存储来进行Scale Up(纵向扩展),容量就更大了。
企业部署SDS的优势:
在SDS模式下,数据服务由不依赖于硬件的软件体系提供。将存储软件与底层硬件分开的方式为企业带来以下关键优势:
● 更高的敏捷性。采用硬件定义的存储时,面对不断变化的情况,很难随时做出更改。这种类型的基础架构通常不够灵活,而且很难根据需要进行重新配置。与之相反,SDS 则可以在软件级别迅速轻松地做出所需更改,更易于根据需要重新配置、部署和重新调整用途。此外,SDS 模式的可扩展性也比传统方法强得多。
● 易操作性。SDS平台提供先进的管理和自动化功能,可使应用程序的存储配置更加简便,更可减少手动干预的需求。除此之外,由于软件和硬件分离,企业可以选择其IT员工(甚至是非存储管理员)所熟悉的软件定义的存储平台,从而更顺畅地实现向 SDS的过渡,并减少对专业技能的依赖。
● 更高的经济效益。旧式存储设备中内置专有软件和硬件,并且必须定期续订昂贵的许可证才能使用。所有这些元素都会带来附加费用,使得存储的获得和使用成本高昂。SDS平台可使用通用型硬件,从而使企业免受供应商限制并大幅节约成本。此外,企业甚至可以选择开源SDS平台,以便获得更大的成本优势。
在评估SDS解决方案时,企业需要就以下因素加以考量:
● 通过开放系统保留选择自由。某些供应商提供的解决方案包含软件定义的元素或功能,但仍要依赖专有硬件和方法才能实现。保持开放性(特别是在硬件级别)将使企业可以按自己的方式利用创新——无论创新来自何处,同时能在基础架构层面保护企业投资。
● 避免“一刀切式”解决方案。每个企业都是独一无二的,都有其独特的应用程序需求、基础架构限制以及资源考虑因素。在评估SDS解决方案包时,要了解工作负载需求,并在这些需求与部署和操作首选项之间取得平衡。
● 通过全面支持确保工作效率。新的体系结构和SDS部署类型可能非常复杂。如果出现问题,跨系统进行准确修复可能非常困难,而且如果IT组织变成供应商之间的中间人,协调起来可能相当耗时。覆盖全球的、全面的、单一来源支持可以避免这些情况。
主流存储厂商SDS技术及方案:
软件定义存储由于不像软件定义网络那样较早建立起了业界标准,当前厂商们在软件定义存储上的技术发展则表现各异。当前厂商们的软件定义存储技术实现可以归纳为数据保持、数据服务和数据消费三层。数据保持层是指存储媒介对数据存储方法的优化,如RAID、纠删码等;数据服务层是指存储媒介对数据活动的优化,如重删、备份、压缩、加密等;数据消费层是指数据的访问接口,如块存储、文件存储、对象存储、Hadoop系统等。
EMC 软件定义存储产品组合
EMC公司的SDS通过存储虚拟化平台将物理阵列中的存储(无论是基于文件、块还是对象)抽象为虚拟共享存储资源池。从而跨物理阵列实现灵活的存储使用模型,并提供应用程序和创新型数据服务。存储虚拟化平台从底层硬件阵列抽象出存储控制路径,以便可以在软件中集中执行多供应商存储基础架构的访问和管理。
EMC 的 SDS 理念不是一个单一产品,而是关于未来交付存储方式的一种概念。以此为目标,EMC 打造了强大的软件定义存储解决方案组合。
EMC SDS 产品组合不仅包含新的 SDS 产品及服务如 ScaleIO、ViPR 及 Elastic Cloud Storage,还包含如 vVNX 及将在未来发布的仅软件 Isilon OneFS 这类产品,它们构建在公司经过时间考验的传统存储产品 VNX 和 Isilon(参见下图)的基础之上。
图1 EMC 软件定义存储产品组合
编配和管理(ViPR)
EMC ViPR目前是以软件的形态,运行在3-5个服务器虚拟机组成的集群上。此款 SDS 解决方案针对自动化配置及管理数据中心异质存储资源。它包括控制平面(Control Plane)和数据平面(Data Plane)两部分功能。前者实现的是自动化存储管理,包括:多租户、自助式门户、计量和调配等;后者可以说是建立在前者对文件存储的管理之上,提供全局数据服务,包括对象存储、HDFS(Hadoop分布式文件系统)和其他服务。
图2 EMC软件定义平台ViPR
横向扩展块及超融合(ScaleIO)
在 2014 年初,EMC 收购了一家以色利存储初创公司 ScaleIO,青睐于其创新的基于服务器的存储技术,该技术使用工业标准的商用硬件来创建软件定义的横向扩展块存储解决方案。ScaleIO 产品不同于市场上的其它产品,因为它能够作为超融合存储平台运行,并支持多个虚拟机管理程序、操作系统及计算硬件(包括基于 ARM 的服务器)。而且,ScaleIO 的一个独到之处是其出众的扩展性——在单一的联合集群中能够扩展至数千个节点。这一功能让 EMC 将 ScaleIO 定位为针对大企业及云服务供应商的产品,对于这类用户来说,扩展和异质至关重要。
横向扩展对象(Elastic Cloud Storage)
EMC 推出 Elastic Cloud Storage 作为下一代超大规模基于对象的存储解决方案。ECS 可以以软件的形式交付用于第三方商用基础架构之上,也可作为集成设备交付。ECS 用于规模存储、存档及访问非结构数据。作为对其他基于对象的存储平台的补充,ECS 旨在克服 Centera 及 Atmos 的某些局限性,其目的是让企业得以在私有或公有云中部署可大规模扩展的存储。ECS 具有可定制的元数据,用于数据布局、保护和生命周期策略。
横向扩展文件(Isilon)
Isilon NAS 产品系列由分布式文件系统 OneFS 提供支持,是最早进入快速增长的横向扩展文件市场的首批产品之一。OneFS 是软件定义的基于文件存储解决方案的早期典范之一——它采用无共享架构,在工业标准服务器上提供各种各样的存储协议。为了满足传统购买渠道的需求,EMC 选择以全集成设备的方式交付Isilon。
统一 SAN 及 NAS (vVNX)
EMC 的 VNXe 产品是一款统一 SAN(iSCSI)及 NAS(NFS/SMB)入门级阵列,适于中型 IT 环境。EMC 目前正在推出的 VNX 软件定义版适于借助虚拟 VNX 存储进行 vApps 开发/测试,并且测试如数据复制及快照/克隆这些功能等用例,而不会产生任何硬件开销。
EMC 产品组合的优势:
开放:对供应商中立、开放标准的 API 让产品得以单独使用,或作为云部署(如 OpenStack)的一部分使用。开源社区版本让买家无需支付任何开支即可评估软件。
多样:EMC 的 SDS 产品组合包括 SDS 数据组织和交付模式——文件、块、对象、HDFS 及超融合式。它还包含下一代机架、数据中心及超大横向扩展架构。
灵活:EMC 希望其解决方案可以作为设备使用,或作为可下载的软件安装于工业标准硬件之上。
IBM的软件定义存储——光谱存储
IBM光谱计算产品体现了IBM软件定义基础架构战略在认知时代背景下的新发展。光谱计算和光谱存储两者互为补充、相辅相成,将共同为客户提供一系列具备独特优势的软件定义基础架构功能,帮助企业针对具体业务需求变化动态调整计算和存储基础架构,在灵活性、选择多样性、管理成本、分析速度等方面获得致胜优势。
IBM对SDS的三个阶段的定义,从某种角度上有点像服务器从虚拟化向云计算、全自动化负载优化的演进。IBM软件定义存储的发展过程:从SDS 1.0的“虚拟化和优化”到SDS 2.0的“开放,可延展且行业导向”,再到SDS 3.0的“开放,智能分析且应用驱动”。
图3 IBM对SDS的三个阶段的定义
目前,SDS中的控制与数据平面的概念已经广受认可。所谓的控制平面就是指,在存储的范畴内对数据进行的操作处理,以提供相应的功能或服务,比如快照、复制、备份、自助服务、策略管理、分析优化等。而数据平面则是保证满足不同的数据存取的需求,比如虚拟化、横向扩展、归档存储等等。IBM光谱存储家族的6款产品组合,也由此可以分成两大部分。
图4 IBM的软件定义存储
首先看控制平面,成员有两个:
IBM Spectrum Control(监控):它源自于IBM的数据与存储管理解决方案,确切的说由两种方案——基于本地的IBM SmartCloud Virtual Storage Center(虚拟存储中心,VSC)与新近推出的,基于云的IBM Storage Insights,前者提供了强大的存储管理平台统一管理块、文件与对象存储,包括自动化的存储供给与分层优化,支持OpenStack与VMware环境,并提供应用感知快照管理。而IBM Storage Insights只需要在本地部署一台虚拟机,与一台IBM存储设备,即可获得基于云的存储管理方案,相当于云化的VSC,并能获得更好的体验,包括更好的容量规划、更高存储利率用、更合理的数据分布、增强的性能监控以及人性化的存储管理报告
IBM Spectrum Protect(保护):基于原有的IBM 的备份与恢复解决方案,即著名的Tivoli Storage Manager家族。它为用户提供了备份与恢复的单点控制,让用户可以进行可靠的、可伸缩的高成本效益的备份,并能快速的恢复至虚拟、物理与云环境。在具体的操作中,数据删重与持续增量备份技术可以让虚拟与物理环境的备份存储需求降低95%,成本最多可节省38%。同时,基于策略的自动化数据管理解决方案,可以让数据自动的在闪存、磁盘与磁带介质中按需迁移以进一步达到最高的“性价比”,最后该方案还支持OpenStack Backup与VMware vCloud 集成。
在数据平台,则有4款产品方案:
IBM Spectrum Virtualize(虚拟化):借助IBM强大的实时压缩功能,SVC在虚拟异构传统存储系统进行池化,方便用户在不同厂牌的存储系统间进行数据迁移而不影响应用的同时,还可以将存储容量等效提高最多5倍,并提升磁盘利用率达50%或更多。借助于IBM Spectrum Virtualize,光谱存储完成了对原有存储系统的“包容”,为尽可能的池化提供了有力的支撑。
IBM Spectrum Accelerate(加速):这是光谱存储家族中最耀眼的一员,源于大名鼎鼎的IBM XIV存储系统,也是界业第一个基于已经被验证过的企业级存储技术的SDS解决方案——目前XIV技术已经稳定运行于全球超过10万台服务器之上。简单来说,它将XIV存储系统的软件“解耦”出来,让它可以部署在业界标准的x86服务器上,30分钟即可实现网格级(Grid-Scale)块存储的快速部署,并支持与公有云相结合的混合模式。
IBM Spectrum Scale(扩展):它是数据平面可实现高度横向扩展的重要基础,它支持数据的全局共享访问,拥有极致的可扩展性,可管理超过10亿PB级的非结构化数据,并具有闪存加速特性,确保极低的延迟。与此同时,IBM Spectrum Scale 还提供了强大的存储管理功能,配合基于策略的自动化管理,用户无需人工介入,即可完成对数据在不同层级存储间的迁移,从而可减少90%的存储成本,同时提高云、大数据和分析环境中的安全性和管理效率。 而且,IBM Spectrum Scale 还支持OpenStack Swift对象存储,可以让后者更女孩的管理图片、视频等对象。
IBM Spectrum Archive(归档):已经不常用,但需要长期保留备案的数据,就需要归档处理了,这也是数据生命周期的最后阶段(再往后就是删除了),这些数据不需占用宝贵的闪存与磁盘存储的空间,此时最合适的介质就是磁带。
戴尔SDS解决方案
戴尔软件定义存储率先实现了存储软件与硬件相分离,戴尔丰富的产品组合基于开放标准,决定了软件定义存储解决方案不会采用一刀切方法。戴尔与领先的存储软件提供商合作,联合设计了敏捷的开放式解决方案,不仅可以保护当前投资,还可以提升未来灵活性。从经过预验证的零风险参考架构,一直到可在30分钟内完成部署的超大规模解决方案,企业可以自由选择最理想的选项。
戴尔SDS从各个存储阵列中提取功能,然后综合运用于计算,从而提升性能和响应能力。基于API的全新自动化工具可帮助IT人员减少管理工作,以便把更多时间投入更有战略意义的工作。集成功能可将管理范围扩展到一般存储阵列之外,同时还可以降低复杂性。最终结果是VDI实施速度提升高达6倍,最多可节省27 %的成本。这与传统VDI存储方法相比,戴尔的SDS解决方案可以支持两倍的用户,并且占用空间减少91 %。
图5 戴尔软件定义存储解决方案
尽管SDS的承诺是“任何软件、任何硬件”,但现实往往复杂得多。基于“白盒”硬件的解决方案常常达不到预期效果。采用合适的配置在经过反复测试的企业级硬件上部署SDS可显著改善成果。例如,采用使用VMware Virtual SAN 6.0的Dell PowerEdge FX的VDI解决方案可以允许您支持更多用户,收回宝贵的机架空间并获得巨大的存储灵活性,与传统存储阵列相比,这种存储更易于设置、管理和使用,大幅简化企业SDS。
戴尔SDS解决方案优势
戴尔SDS解决方案主要有三大优势:第一、借助戴尔基于行业标准的开放式方法,选择适合用户的硬件和软件;第二、更快地获得最新软件或硬件先进功能,从而快速增加新的IT功能;第三、通过单点联系人获取服务和支持,降低风险并节省时间。
惠普SDS解决方案
在惠普看来,软件定义存储与其融合架构、公有云、开源等并不是割裂的,惠普认为真正面向软件定义数据中心的存储包括三个层面:首先是标准的平台基础,其次是联合的数据服务,最上面是融合的控制与架构。
图6 惠普面向多款软件定义数据中心的存储
惠普“软件定义存储”方案的更新包括以下几点:
1、对虚拟机的支持:惠普增加了Linux环境下KVM的支持,这样惠普Storevirtual VSA就全部支持了VMware、Hyper-V和KVM三种主流的虚拟化方案。对Linux虚机KVM的支持实际上和惠普的Helion云战略密不可分,因为用户更加倾向于在Linux环境下,基于KVM虚机来署Openstack,所以Storevirtual VSA融入Helion云战略的前提,就是支持KVM。
2、空间利用率改善:对软件定义存储的客户来说,利用的是服务器端存储的空余空间,所以空间利用率和成本密切相关。惠普在软件定义存储方案中增加了T-10UNMAP功能,这样用户在删除数据后,可以在非常灵活的扩展和释放空间给其他存储业务。
3、性能方面的提升:软件定义存储同样对性能有一定的要求。惠普最近针对Vmware虚拟化应用做了一系列优化,通过路径管理提升系统性能,在高IO应用环境下尤其有明显的性能提升。根据惠普的测试数据,在应用SSD的环境下运行Vmware虚拟机,实现了58%的性能提升,同时还大幅度降低系统延时。据介绍,这种优化很快还将移植到KVM虚机环境下。
4、对Openstack的支持:这一点其实也和Helion云的整体战略密不可分,惠普在Storevirtual VSA中增添了REST API的支持,能够更好的与Openstack环境相集成。
总结:在笔者看来惠普StoreVirtual VSA和StoreOnce VSA都有着较为广泛的用户基础。随着VMware介入到软件定义存储领域,惠普一直强调会给用户更多选择。值得称赞的是,惠普在其软件定义存储产品中加强了与Helion公有云平台的集成,符合当前混合云的趋势,拥有自家公有云平台也使得惠普在未来的混合云竞争中更具吸引力。
NetApp的SDS解决方案
NetApp的SDS主要通过其集群操作系统Data ONTAP对底层的异构存储进行统一管理,并实现存储资源的策略配置以及提供可编程API,实现应用程序自定义和工作流自动化。所有的异构存储设备通过NetApp设备接入。目前,NetApp的ONTAP产品主要支持块和文件存储接口,对对象存储支持较弱:兼容硬件支持列表中,主要是NetApp认证的存储设备。
图7 NetApp的集群模式Data ONTAP平台
上图为集群模式Data ONTAP的原理示意图,从中我们可以看到NetApp对软件定义存储的理解。NetApp的软件定义存储分为上层的虚拟应用,中间集群模式 Data ONTAP提供的虚拟化存储服务以及位于底层的硬件和云资源。笔者个人理解可以将这个架构解释为通过集群模式 Data ONTAP将底层的存储资源(包括硬件存储设备和云存储服务)虚拟成为多个SVM最终提供给上层的应用。这样集群模式 Data ONTAP就可以通过设置SVM的容量、性能和其他的策略来实现对上层的应用提供符合其需求的服务。
这个解决方案最大的特点就是上层应用并不用考虑底层的资源类型,NetApp 存储虚拟机对于存储的意义正如服务器虚拟化为服务器所带来的意义,它消除了将数据束缚于特定硬件的物理障碍。应用所面对的是一个个容量、性能有所不同的存储虚拟机(SVM),数据的存储、迁移、管理的策略都会由集群模式Data ONTAP统一控制和实现。这点也是软件定义存储的基本要求。
而具体的底层的存储资源可以是NetApp的FAS和FlexPod,也可以是EMC或者HDS等厂商的第三方存储阵列资源(NetApp之前的V系列的功能,现在已经集成到集群模式Data ONTAP当中,被称为FlexArray)。集群模式Data ONTAP对于每种硬件资源都做了深入的研究,不论是闪存还是公有云资源,他都做了非常细致的优化,以确保所有资源能够物尽其用。
NetApp 提供 SDS(通过集群模式 Data ONTAP 软件实现)、业内最全面的应用程序集成以及支持无缝工作流自动化的可编程 API。SDS 功能有机地融入到我们的产品中,而不是之后作为单独的管理层添加进来。我们通过以下方式实现 SDS:
• 应用程序自助服务,便于用户更加快速地访问存储服务、应用程序和工作流
• 全面虚拟化的存储服务器,便于基于服务级别动态地配置资源
• 在广泛的多供应商硬件和云服务提供商之间部署,实现平台灵活性
NetApp软件定义存储的优势
• NetApp 集群模式 Data ONTAP 操作系统,在全球第一品牌存储操作系统[*] Data ONTAP 的基础之上进一步创新。
• NetApp OnCommand® 管理软件和管理集成工具套件。
• NetApp FAS 系列光纤连接数据存储系统。
• NetApp FlexArray 虚拟化软件,支持使用集群模式 Data ONTAP 界面管理。NetApp 和第三方存储阵列。
e-works观点:
软件定义存储不是一个概念,也不是飘在空中的一朵云,而是一个实实在在正在落地开花的一种创新性产品。无论是从技术、产品、市场还是用户的角度来看,软件定义存储都具有巨大的创新。但是,真正的想把软件定义存储做好,也并不是那么简单的事情,在技术上和传统存储软件存在较大的差异,需要更加强调系统的容错性。而并不是简单的把传统存储中的软件单独打包销售。
软件定义存储是未来发展的方向,它能够帮助企业获得前所未有的敏捷性和高效率,但考虑采用SDS的企业也应当基于现有需求,同时采取面向未来的合理策略。
核心关注:拓步ERP系统平台是覆盖了众多的业务领域、行业应用,蕴涵了丰富的ERP管理思想,集成了ERP软件业务管理理念,功能涉及供应链、成本、制造、CRM、HR等众多业务领域的管理,全面涵盖了企业关注ERP管理系统的核心领域,是众多中小企业信息化建设首选的ERP管理软件信赖品牌。
转载请注明出处:拓步ERP资讯网http://www.toberp.com/
本文标题:软件定义存储技术及解决方案