数据存储技术研究报告

木讷大叔爱运维2022年10月02日约 13 分钟

❝
以下来源：中国信息通信研究院
❞

一、存储产业痛点分析

“数据”是数据中心乃至企业最重要的资产。在数字社会，数据具有基础战略资源和关键生产要素的双重角色。作为信息化系统中的核心部分和底层基座，存储系统的构建和使用直接关系到数据这一企业核心资产的存储、使用和挖掘。当前，存储系统面临的业务环境呈现出以下两个特点。

「一是数据量爆发式增长」。随着移动互联网不断发展，企业的数据规模呈现爆发式增长。《IDC：2025 年中国将拥有全球最大的数据圈》研究表明，2018 年中国新增数据量为 7.6ZB，成为世界第一数据生产国；2025 年中国新增数据量将达到 48.6ZB，年平均增长率为30%。
「二是业务负载呈现动态变化。」 现代业务平台的负载是非线性的、动态变化的，尤其是互联网类的业务，随时可能出现业务负载的突发性变化。以 2020 年双十一为例， 0 点至 0 点 30 分，天猫实时成交额突破 3723 亿。订单创建峰值为 58.3 万笔/秒，是 2009 年第一次双十一的 1457 倍。

当前存储技术存在以下四个问题，导致难以满足上述业务需求：

「一是主要采用集中式架构，横向可扩展性差。」 传统存储由于紧耦合架构和单一的协议，导致性能和空间无法独立扩容，支撑业务快速部署上线。相较于计算虚拟化环境下秒级的虚拟机部署和回收，存储的扩容和资源分配往往需要几个小时甚至几天以上的时间，难以满足客户快速扩展的需求。如何提高存储系统的横向扩展能力，实现对资源的即时使用和释放，是未来存储技术亟待解决的问题。
「二是无法统一调度，存储容量浪费。」 受限于架构设计，不同存储之间的资源无法进行统一调度和管理，时常出现个别节点资源存在剩余，但其他节点却出现空间不足的情况。存储整体利用率低，造成存储、计算资源浪费。大数据时代，这一问题被进一步放大，如何减少资源浪费、降低使用成本将是未来各行业用户关注的重点。
「三是产品兼容交互能力差，业务复杂性变高。」 据《IDC FutuerScapes 2019》分析指出，未来企业 49%的应用将与其他应用有紧密关联，每个企业级应用都将与其他 4-8 个应用有频繁的交互。不同供应商或型号存储产品往往难以互通，当需要替换存储设备时，数据迁移问题无论对运维还是业务平台本身都是一项极大的挑战。
「四是多种存储产品混合使用，运维难度大。」 目前我国各行业用户采购的存储产品往往由多家厂商供应，由于接口、协议、工具的差异，造成了诸如业务复杂性变高、运维成本上升等问题。如何打破“数据孤岛”，避免重复式存储规划和数据丢失带来的损失成为企业数字化转型过程中面临的一大挑战。

为了解决上述问题，满足各行业在使用存储系统过程中出现的新场景、新需求，下一代数据存储技术应运而生。

二、下一代数据存储技术

进入移动互联网时代，存储应用场景急剧变化，下一代数据存储技术应运而生。下一代数据存储技术主要指在存储介质、存储架构、存储协议、应用模式及运维模式等方面迭代创新的一系列技术的集合，总体呈现出高性能、易于扩展、服务化和智能化等特点。

表 1 下一代数据存储技术革新方向

「技术分类」	「传统存储」	「下一代存储」
「存储介质」	机械硬盘存储、易失型内存	全闪存储、非易失性内存
「存储架构」	集中式存储	软件定义存储、超融合基础架构
「存储协议」	AHCI、SCSI 协议	NVMe 协议
「应用模式」	本地部署	云服务化
「运维模式」	人工运维	智能化运维

本章将从这五个方面对下一代数据存储技术的演进进行梳理与分析。

（一）存储介质演进

全闪存储

全闪存储指全部由固态存储介质构成的独立存储阵列或设备。全闪存储的高速发展，既是新应用对性能需求驱动的结果，也是闪存技术不断创新的成果。在需求侧，当前数据爆炸式增长，云计算、物联网、大数据、人工智能、区块链等新技术快速发展，驱动人脸识别、自动驾驶等新智能应用不断涌现，业界已进入智能驱动的新数据时代。这一时代，数据存储具有三大需求，分别是 EB 级容量、亿级 IOPS（每秒进行读写操作的次数，Input/Output Operations Per Second）和智能管理，亿级 IOPS 需求使得存储介质的变革势在必行。

在技术侧，全闪存储普遍被认为是存储行业的发展方向，其具备远高于传统磁盘存储的数据吞吐能力及更低的时延。数据显示，固态硬盘对比机械硬盘，拥有更快的读取速度、更低的功耗以及更低的故障几率，实现了对机械硬盘性能的全面超越，为底层存储介质的替换提供了客观条件。表 2 机械硬盘与固态硬盘性能对比

	「机械硬盘」	「固态硬盘」
「时延」	2ms	0.02ms
「5 年返还率」	13.4%	0.8%
「功耗」	10w	3w

（二）存储架构演进

大数据、云计算和虚拟化等技术的出现，使得传统的 IT 架构难以满足企业日益增长的数据存储需求。为应对这一挑战，软件定义存储（SDS，Software Defined Storage）和超融合基础架构（HCI，Hyper-Converged Infrastructure）应运而生，打破了传统 IT 系统复杂和繁冗的现状，优化了网络的可扩展性和管理方式。

1.软件定义存储

企业对数据服务的需求变得更加复杂、精细和个性化，对数据存储的高可靠性、高性能、高扩展以及面向云架构的延伸能力等层面提出了更高的要求。虚拟化和云技术的发展和成熟转变了数据中心的设计、建造、管理和运维方式，这种变革使软件定义存储越来越有吸引力。

软硬解耦、易于扩展、自动化、基于策略或者应用的驱动是软件定义存储的特征。就业务应用来说，即不限制上层应用，不绑定下层硬件；除了提供块存储，也可以在同一平台提供文件、对象、HDFS 等存储服务，实现非结构化数据的协议互通；同时应具备完善的监控能力，实现应用感知。

表 3 不同类型软件定义存储简介

「类型」	「功能」	「应用场景」
「块存储」	提供块存储服务，常见多用于提供虚拟化、私有云、数据库等使用块存储资源的结构化数据业务，业务应用直接对磁盘块进行访问操作。	虚拟化环境：VMware、KVM、OpenStack、容器等 ;云环境：CloudStack 、 ZStack 、WinCloud 等 ;数据库：Oracle、MySQL 等
「对象存储」	提供 S3协议接口服务，支持通过Restful的访问方式进行数据的上传、下载、删除。常用于互联网、移动终端应用业务云存储，以海量非结构化类型数据为特征。	流媒体文件、非结构化数据、内容管理、数据备份归档、网盘、电子单据
「文件存储」	提供文件存储功能，支持 NFS/CIFS 等访问协议，常用于传统局域网共享型的业务应用，以支持多个用户对同一文件协同操作为特征。	高性能计算、非结构化数据、内容管理、数据归档
「统一数据平台」	同时提供块、文件、对象等多种协议	全业务场景的适配，支撑企业的各种各样的应用负载

开放化和水平扩展是软件定义存储的两大特点。开放化意味着接口标准化、服务原子化，保证客户的应用系统能够以最顺畅的方式对接基础存储设施，可微调解决方案细节，达成高质量的服务。水平扩展则是云计算弹性环境的必然要求，在移动互联网环境下，业务应用的负载量是突发式、潮汐式、难以精确预测的，应用要求存储的容量和性能都必须能够线性扩展以满足上层应用需求。

软件定义存储产品在提供高可靠和高可用服务能力的同时，集成了数据智能处理和分析能力，简化了海量数据处理所需的基础设施，帮助客户实现数据互通、资源共享、弹性扩展、多云协作，有效降低用户的使用成本。Gartner 报告指出，通过使用某品牌数据存储平台，企业用户实现整体使用成本降低 54%。

2.超融合基础架构

超融合基础架构是一种软件定义的 IT 基础架构，它可虚拟化常见 “硬件定义” 系统的所有元素。超融合基础架构包含的最小集合是：虚拟化计算、虚拟存储和虚拟网络；超融合系统通常运行在标准商用服务器上。

超融合基础架构除对计算、存储、网络等基础元素进行虚拟化外，通常还会包含诸多 IT 架构管理功能，多个单元设备可以通过网络聚合起来，实现模块的无缝横向扩展，形成统一资源池。

超融合基础架构通过为企业客户提供一种基于通用硬件平台的计算存储融合解决方案，为用户实现可扩展的 IT 基础架构，提供高效、灵活、可靠的存储服务。

对于用户来讲，超融合基础架构的主要价值如下：

「以简洁的架构提供高可用方案。」 超融合由于其融合部署架构，可有效协调虚拟化和存储高可用联动的问题，从而以非常简洁的架构提供不同级别的高可用方案。
「存储系统整体性能的大幅提升。」 分布式架构提升了系统整体的聚合性能，可以在不改变硬件配置下进一步降低访问延迟。
「扩展性大幅提升。」 超融合基础架构的核心分布式存储在可扩展性上有了本质的提升，包括如下特点：支持少量节点起步，支持硬件部件及节点级扩容，容量自动均衡，异构节点支持，卷级别存储策略等。
「采购成本和总体拥有成本降低。」 在使用成本方面，服务器+超融合软件（或超融合一体机）的采购成本有大幅度的降低。除采购成本外，超融合系统在总体拥有成本上有更大的优势。在某证券客户的支撑案例中，超融合解决方案协助客户提升 15% 的资源利用率、降低 60% 的运维工作量、同时每年的 IT 采购成本降低50%。

二、下一代数据存储技术实施建议

存储系统作为IT系统的底层基础架构，存储技术进一步发展和推广对于整个信息产业具有重大意义。在数字化转型过程中，存储系统作为底层基础架构，其改造和实施过程需被重点关注。

本章力图分析梳理存储系统改造中应当遵循的原则和策略，从而指导相关人员从业务设计和实际操作等方面完成意识的认知和过渡。

（一）指导原则

在下一代数据存储技术的规划实施过程中，应遵循如下指导原则。

1.适度的技术先进性

衡量存储系统的技术指标包括性能、可靠性、数据效率、可扩展性等，采用下一代数据存储技术可以很好地利用技术迭代的红利帮构建性能更快、安全可靠、空间利用率更高、可扩展性更强的存储系统，是IT技术发展的趋势。

但同时我们也应注意，新技术的出现往往会经历萌芽、增长、低谷、复苏等阶段，才会被广泛应用，过早投入新技术的使用，会产生更高的试错成本。所以，采用新技术应该适度，充分考虑自身的使用需求、技术的发展阶段、技术与周边生态方案的对接等因素。

2.可控的成本

在采用新技术的过程中，也要充分考虑成本的影响，主要是总体拥有成本（TCO, Total Cost of Ownership）。它既包括前期的采购成本，也包括后期使用过程中产生的成本，具体如下：

采购成本：包括硬件成本、软件成本、服务成本，以及因此产生的机房空间、组网设备、应用二次开发等成本。
使用成本：包括设备使用产生的人力、耗电、散热、带宽占用、网络流量等成本。

采用新技术需要综合考虑存储系统的TCO成本和由此产生的所有收益，衡量最终的投资回报率。

3.可维护性

新技术往往意味着对传统运营体系的改变，所以要关注系统的可维护性，避免产生高昂的学习成本，或系统切换产生的业务风险，具体要考虑如下因素：

安装部署：技术或产品的安装部署是否方便，过程需要多少人力和时间，是否需要对现有环境做调整，是否对人员的技术能力有要求等；
管理配置：技术或产品的管理配置是否简单，是否提供图形化界面，常用功能操作是否方便；
故障处理：出现故障时，是否能够快速定位问题并恢复业务，对人员能力的要求如何，故障处理是否需要依赖于其他环境；
升级扩容：需要版本升级或能力扩容时，对现有系统的影响如何，是否需要停机，停机窗口多长，对性能影响如何；

4.兼容性

存储架构是数据存储的基础，确定存储架构时除了要考察存储的扩展性和稳定性外，要充分考察业务应用对存储兼容性的需求，其中包括存储协议的兼容性、存量设备的兼容性、存储对云平台的兼容性等，明确相关问题，需要提前评估业务应用的现状及未来的发展趋势。具体如下：

协议兼容。目前云存储厂商大都兼容了AWS S3的常用接口，以方便基于AWS S3协议开发的应用能够快速对接到自己的存储系统。
云平台兼容。现有的存储软件设计很多都是基于公有云的场景做的优化，对于私有云的场景很多地方都需要优化，要做到对于各种场景灵活可配置，而不是一套程序对应各种私有化场景。
存量设备的兼容性。对于已购买的存储设备，需要考虑新购存储设备是否能与旧设备兼容，或考虑其他利旧方案。例如将旧设备作为新设备的二级存储，定期将新设备中的数据备份到旧设备中。

（二）实施策略

1.产品选型

在选型过程中首先应根据业务需求确定存储形态。如果是传统关系型数据库类应用，对数据可靠性和业务可用性要求较高，集中式存储阵列依然在此类应用场景中广泛使用。如果是 NoSQL 类数据库，或其他对于存储性能和容量扩展性要求较高的应用场景，则分布式存储架构更容易满足未来业务的增长需求。

接下来还需考虑存储的性能需求。除了存储设备本身架构设计的因素外，存储介质可能更直接影响块存储最终能够达到的性能。全闪存储节点可提供更低的时延、更高的 IOPS、更高的可靠性和性能，适合于对性能要求较高的核心业务系统。在性能需求一般的业务场景，混闪的配置能提供更优的性价比。

完成存储形态和存储介质的选型后，对于分布式架构的存储设备，通用模块的选型主要基于以下几个方面：

「网络传输设备」 ：存储的网络环境目前主流仍然是 10Gbps 网络，但伴随着终端网络带宽的不断提高，未来对存储数据在网络上传输需求的带宽也会越来越大，基于未来的发展应优先考虑相对成熟的 25Gbps、100Gbps 网络。
「业务逻辑层设备」 ：此层设备主要工作是处理存储业务产品功能逻辑，主要资源消耗点在 CPU，参数上更多核心更高主频可以带来更好的处理性能。
「元数据设备」 ：元数据作为整个存储系统的一个核心部分，整体性能的高低直接影响了存储的响应能力，设备选择上优先要考虑基于 NVMe 协议的全闪存储用于存放海量元数据，同时较大的内存也可以进一步提升元数据处理的响应速度，CPU 只需选择主流中低端产品即可。

2.业务规划

业务规划主要考虑容量的规划和功能的规划。

「容量规划。」 考虑不同的场景、性能需求、容量需求需搭建的集群规模，以及后续扩容，置换的规划。更应考虑到未来业务增长，在给业务划分容量时需预留足够的空间。同时还需要综合考虑业务的需求，划分不同的存储池，做到业务隔离并防止资源争抢。
「功能规划。」 软件功能的规划，伴随着新硬件产生和技术的进步，软件功能也要有相应的升级。

3.部署规划

部署规划是结合业务的场景和可靠性要求等条件，对机房、机柜、交换机、网络等设备进行统筹考虑。存储服务的部署要结合实际物理条件综合考虑部署架构以实现服务的高可用，需要从分散性、高性能、扩展性及可维护性进行规划。

「分散性」 ：存储服务的核心就是数据的可靠性与服务的可用性，基于这两点所有服务的组件部署都要考虑到多可用区（Availability Zone，AZ）的部署方式，确保所有服务集群在单个 AZ 故障时依然有集群在线提供服务，同时后端存储服务优先要考虑三 AZ 部署(典型存储服务为三副本)。
「高性能」 ：集群初建时业务体量尚未成型，此时选用大容量介质建设目标容量集群会因为介质数量太少，在突发业务压力下导致单个存储介质到达性能极限，进而影响了整个存储集群的性能，基于这种场景可以选用多个相对容量较小的存储介质提高集群的整体性能。
「扩展性」 ：设计之初各服务模块应充分考虑横向扩展能力，扩展模型是否足够简单，确保可以通过扩展满足未来业务的需求。
「可维护性」 ：传统存储运维面对万台规模的存储集群，从变更到日常故障巡检都要消耗大量的人力，运维向智能化转变是未来发展的方向，通过智能运维来大幅提高存储系统的自运维能力，降低运维成本。将运维人员从繁杂的工作中解放出来，将更多的精力集中在运维系统的开发和完善上。