作者czjing·2023-05-06 15:33

系统运维工程师·运维

城商行生产环境基于华为全闪存储国产化替代实践经验

字数 9446阅读 3621评论 2赞 3

内容摘要：

介绍城商行生产环境中基于华为全闪存储国产化替代实践经验，重点讲述金融业对存储的要求和华为中端存储的架构和性能，以及存储的实施过程和设备配置清单。华为OceanStor存储实施方案，经过33项子模块测试，性能符合预期，满足业务实际需求。华为OceanStorDorado5300全闪存存储产品在国产服务器测试场景下，性能、功能、可靠性均符合预期，满足业务需求。

当前摘要为AI生成

# 【摘要】 
本文结合我行实际实施经验，介绍了生产环境中基于华为OceanStor Dorado 5300系列中端全闪存储国产化替代实施方案。对于存储设备的选型、生产实施方案、存储设备的高可用、可靠性等方面的测试等做了详细介绍，并给出了实际性能测试的表现，希望可以作为同行存储选型的具体参考。

# **1、概述**

## **（1）背景**

作为生产与海量数据存放的重要媒介， 存储在数据中心建设中的数据高效可靠承载、信息安全保障等方面具有重要地位。 同时存储安全也是信息安全的一个重要因素。 在国产化道路上，存储与CPU、操作系统同等重要。因此，在实施了CPU与操作系统的国产化替代之后，加速存储的国产化替代，尤其是 加速自主可控全闪存存储 在国产党政办公系统中应用，是国家信息安全战略有序推进的重要保障。 本项目拟调研存储国产化产业现状和存储技术最新进展，并在此基础上开展关键技术及应用研究，推动国产集中存储产品的可行性论证和应用落地，实现数据存储与传输全链路全面国产化，软硬件全技术栈的“安全可靠”要求，同时优化数据中心存储资源布局，保障生产平稳运行。

## （2） **目标**

本次存储替换实施是将使用国产存储产品以及存储网络IP化的技术研究的基础上，在完成测试环境下对存储和网络相关的功能、性能、可靠性进行系统测试后,观察其系统的表现，以此发现被测版本在对接各家存储后端下的存储常规功能、平台存储极限性能、平台业务性能、存储可靠性等方面可能存在的问题,为存储国产化替代提供指导性的参考，以确保该系统在对接各家存储后端下的稳定性，满足生产业务实际的需要。

# 2、 **金融业对存储的要求**

## **（1）高性能**

随着业务的发展，银行业对IT基础设施的要求越来越高，存储设备有着举足轻重的作用。现阶段，业务的数据都是信息化的方式存放在存储中的，因此存储设备的性能等特征成为大家重点关注的对象。通常向客户提供金融服务的系统为交易类业务系统，包括核心系统在内，一般银行包括很多交易类系统比如手机银行，网上银行等。各个系统有独立的功能，但对客的一笔交易通常又可能涉及多个系统。因此交易链路上的每个系统都要求具有很高的稳定性及安全性，因此要求我们系统同样需要稳定安全的基础设施。基于交易系统产生的海量数据，银行同样需要大量的内部经营分析及管理类系统，基于海量数据的分析要求我们的系统要有非常强大的批处理能力，要求我们存储要有较大的吞吐能力。

## （2） **稳定性**

不管是交易类还是管理类业务系统，大量应用节点包括WEB服务器、业务交易的APP服务器及数据库服务器等数据均大量使用存储作为存储介质。基于存储的数据访问的特点是数据量大，同时可压缩量也大，可压缩的空间大。对IO的性能要求较高，通常时延在10毫秒内可满足要求，当然数据库要求会更高。因此，业务系统对存储的稳定性有很高的要求。

## （3） **可扩展性**

基于业务发展及数据存储需求的增长，要求存储能有可扩展能力。确保存储产品可在线实施扩容，满足需求不足时需求，同时扩容操作要保证存储维持原有高性能的基础上实现。

## （4） **高可靠性**

对部件失效和设备断电均有保护措施，同时在降低硬盘故障和数据丢失风险方面也有相应的保护措施，保障系统的高可靠性。同时要求存储系统提供多种高级数据保护技术，即使在毁灭性的灾难下，也能够保障数据安全，从而使业务正常持续运行。

## （5） **管理高效便捷**

提供重复数据删除和压缩技术，保证在使用过程中的经济性，高效率使用存储空间。提供简单易用的管理维护工具，方便运维管理。

提供智能运维系统，能方便快捷获取存储的运行状态信息。准确识别故障，降低运维难度，全面提升运维效率。存储厂商需要有较强的售后能力，包括服务能力、专业技术能力、排障及方案设计等能力因素。

## （6） **灾备扩展能力**

信息系统容灾存储端是重要的基础。存储架构的设计需满足业务系统特点、监管及行内制定的RPO及RTO指标。业务多采用两地三中心架构，数据在三个数据中心至少保留有3副本，有点为了满足生产中心业务的高可用，甚至会采取保留4副本的方式。一般建设思路采取“大同城，小异地”的策略建设，以1:1资源配置、双活应用架构方式建设同城灾备中心，保证主中心灾难时同城中心课快速接管业务；以小部分资源部署、数据异步方式建设异地灾备中心，保证在出现区域性灾难时，数据不丢失及小部分关键业务持续运行。

# **3、华为中端存储的架构及性能**

本次实施本次项目实施包含两台华为存储，分别是一台华为 O cean S tor  Dorado  5300、一台华为 OceanStor 5310 。华为OceanStor系列存储采用全新的硬件结构，基于全闪存深度优化的软件架构，结合多种高级数据应用和数据保护技术，使存储系统具有高性能、高稳定性、高可扩展性、高可靠性和高可用性等特点，满足大中型企业对存储产品的各种要求。

主要组件包含华为自研的存储管理操作系统OceanStor OS，存储终端维护软件SmartKit、eService等。通过OceanStor OS， 实现硬件管理和支撑存储业务软件的运行 ， 存储系统通过基本功能控制软件实现基础的数据存储和读写功能；通过增值功能控制软件实现各种备份、容灾和性能调优等高级功能；通过管理功能控制软件实现对存储系统的管理功能 。

通过终端维护软件，则可以实现设备的部署、维护和升级及存储系统的远程维护管理软件，用于设备监控、告警上报和设备巡检等。存储的基础架构如下图所示：
 
 ![](/home/attachment/202305/06/381571_168335792822156.png)

华为OceanStor Dorado 5300系列存储是中端全闪存存储产品，为客户提供卓越的数据服务体验。凭借创新硬件平台、FlashLink智能算法加持和端到端NVMe架构，性能相比上一代提升30%，0.05ms极致时延；采用稳定的可靠的设计，保障核心业务持续在线。华为存储创新硬件平台实现端到端数据加速，根据官方的产品文档，性能相比上一代提升30%。

# **4、存储的实施**

本次实施本次项目实施包含两台华为存储，分别是一台 华为OceanStor Dorado  5300  、一台华为OceanStor  5310  ，以及两台光纤交换机，相关设备配置清单如下：

a. 华为OceanStor Dorado  5300

|   |   |   |
| ------------ | ------------ | ------------ |
| 序号 | 配置 | 数量 |
| 1 | OceanStor Dorado 5300 V(2U,双控,SAS,交流\\240V高压直流,256GB 缓存,8*1Gb ETH,8*10Gb ETH(含多模SFP+),4*(4*12Gb) SAS,25*2.5英寸,SPE36C0225) | 1 |
| 2 | 4端口 SmartIO I/O模块(SFP+,16Gb FC) | 2 |
| 3 | 4端口 SmartIO I/O模块(SFP28,25Gb ETH) | 2 |
| 4 | 3.84TB SSD SAS硬盘单元(2.5") | 16 |
| 5 | 光跳线-DLC/PC-DLC/PC-多模-15m-A1a.2-2mm-42mm DLC-OM3弯曲不敏感 | 24 |

b. 华为OceanStor  5310

|   |   |   |
| ------------ | ------------ | ------------ |
| 序号 | 配置 | 数量 |
| 1 | 5310 V5(2U,双控,SAS,交流\\240V高压直流,256GB 缓存,8*1Gb ETH,8*10Gb ETH(含多模SFP+),4*(4*12Gb) SAS,25*2.5英寸,SPE36C0225) | 1 |
| 2 | 4端口 SmartIO I/O模块(SFP+,16Gb FC) | 2 |
| 3 | 4端口 SmartIO I/O模块(SFP28,25Gb ETH) | 2 |
| 4 | 3.84TB SSD SAS硬盘单元(2.5") | 24 |
| 5 | 10TB 7.2K RPM NL SAS硬盘单元(3.5") | 20 |
| 6 | SAS硬盘框(4U,交流\\240V高压直流,3.5",级联模块,24盘位,不包含硬盘单元,DAE62435U4) | 1 |
| 7 | 光跳线-DLC/PC-DLC/PC-多模-15m-A1a.2-2mm-42mm DLC-OM3弯曲不敏感 | 24 |
| 8 | 高速电缆-48G Mini SAS HD Cable-3m-(SFF 8644 Plug)-(28AWG*4P*2黑(S))-(SFF 8644 Plug)-室内用,SAS 3.0 | 2 |

本次实施采用基础功能验证组网，并通过IBM SVC完成组网的验证。基础架构图如下：
 
 ![](/home/attachment/202305/06/381571_168335797540764.png)

## （1） **端口划分**

存储A/B两个控制器，各使用两个FC端口，相同控制器上的FC端口，接入不同的光纤交换机，实现FC链路冗余，提供SAN流量。

各使用两个10GB端口，相同控制器上的IP端口，接入同一台网络交换机，通过创建逻辑端口，实现跨存储控制器IP链路冗余，提供NAS业务流量。

|   |   |   |   |   |   |
| ------------ | ------------ | ------------ | ------------ | ------------ | ------------ |
| 设备名称 | FC端口 | 光交连接端口 | 10GB端口 | 网络交换机 | 逻辑端口 |
| Oceanstor Dorado5300v6 | A-P0 | 交换机1 | A-P2 | 利旧1/13 | logic01 |
| A-P1 | 交换机2 | B-P2 | 利旧2/13 |
| B-P0 | 交换机1 | A-P4 | 利旧1/14 | logic02 |
| B-P1 | 交换机2 | B-P4 | 利旧2/14 |

## （2） **华为OceanStor Dorado 5300资源及文件系统划分**

本次实施，使用控制框中全部的16块SSD磁盘，创建一个存储池。并根据业务需要，创建一个8TB的文件系统，并通过NFS协议进行共享，为业务系统提供共享存储空间。

|   |   |   |   |   |   |
| ------------ | ------------ | ------------ | ------------ | ------------ | ------------ |
| 存储池名称 | 磁盘容量 | 磁盘类型 | 数量 | RAID类型 | 存储池容量 |
| dev-ssd-pool01 | 3.84TB | SSD | 16 | RAID6/10D+2P | 50TB |

根据业务需要，创建一个8TB的文件系统，并通过NFS协议进行共享，为业务系统提供共享存储空间。

|   |   |   |   |   |
| ------------ | ------------ | ------------ | ------------ | ------------ |
| 文件系统名称 | 容量 | 共享主机 | 权限 | 存储池 |
| Filesystem001 | 8TB | 业务主机 | 读写 | dev-ssd-pool01 |

## （3） **华为OceanStor********5310资源划分**

本次实施Ocean S tor  5310v5共有24块3.84TB  SSD磁盘，20块10TB  NL_SAS磁盘，所有磁盘添加至同一个硬盘域中。

|   |   |   |   |   |   |
| ------------ | ------------ | ------------ | ------------ | ------------ | ------------ |
| 硬盘域名称 | 磁盘容量 | 磁盘类型 | 数量 | 热备空间 | 可用空间 |
| DiskDomain001 | 3.84TB | SSD | 24 | 高 | 90TB |
| 10TB | NL_SAS | 20 | 高 | 200TB |

根据业务需要，将硬盘域中全部SSD磁盘单独划分成一个高性能存储池，将全部NL_SAS磁盘单独划分成一个大容量存储池。

|   |   |   |   |   |
| ------------ | ------------ | ------------ | ------------ | ------------ |
| 存储池名称 | 用途 | RAID类型 | 存储池容量 | 热备空间 |
| dev-ssd-pool01 | 块存储服务 | RAID6/8D+2P | 60TB | 高 |
| dev-NL_SAS-pool01 | 块存储服务 | RAID6/8D+2P | 135TB | 高 |

根据业务需要，在SSD高性能存储池中，划分30个2TB大小的LUN，不启动SmartThin功能，并添加至同一LUN组。

## （4） **主机及LUN映射**

华为OceanStor 5310通过光纤交换机配置，连接IBM存储网关SVC，通过绑定SVC FC端口的WWPN，创建主机及主机组。

通过新建映射视图，将LUN组中的LUN映射给主机组中的IBM SVC，为业务系统提供存储空间。

|   |   |   |
| ------------ | ------------ | ------------ |
| 映射视图名称 | LUN组名称 | 主机组名称 |
| SSD_SVC | SSD_Group01 | IBM_SVC_Group |

# 5、 **存储的测试**

为确保存储能满足业务需求，对存储的基础功能及性能作了充分的验证测试，从可能的故障点，性能及可靠性三个层面进行了33项子模块测试。所有子模块测试结果均表明存储性能符合预期，满足业务实际需求。以下分开说明各个模块做的测试需求点。

## （1） **功能测试需求点**

Ø  存储配置信息查询，完成存储配置查询验证

Ø  存储基本功能验证， 验证存储创建RAID组或存储池/LUN,映射/回收LUN

Ø  图形管理界面， 验证图形界面告警监控/管理

Ø  性能统计功能， 验证存储性能统计功能

Ø  命令行查询存储资源，过存储命令行查询存储Pool/RAID/LUN等基本信息

Ø  用户管理功能的测试， 测试盘机的用户管理功能

Ø  日志测试， 搜集日志，观察收集是否便捷，展现是否清晰

Ø  LUN控制器间的均衡， 验证 存 储 系统为AA架构，支持控制器 负载均衡 ， 在任意LUN数量的情况下 ， 控制器负载均衡

Ø  自研多路劲测试， 验证 存储系统 是否有存储厂商自研的多路径软件，非操作系统自带 。

Ø  基本快照功能， 验证快照 基本 功能

Ø  数据压缩， 验证存储系统是否支持数据压缩功能

Ø  瘦供给功能， 验证存储自动精简配置功能

Ø  数据去重， 验证存储系统是否支持重复删除功能

Ø  本地克隆功能， 检验被测设备是否支持 克隆 功能 ，副本立即可用，支持增量同步，反向同步

Ø  SAN服务质量控制，验证 存储系统是否支持服务质量控制(QoS) ，

Ø  LUN在线迁移， 验证被测设备软件是否具备LUN在线迁移功能

Ø  高密性能无损快照， 验证 存储支持 高密定时快照功能， 以及 高密快照对性能的影响

## （2） **性能测试需求点**

Ø  小块4K随机写场景，验证存储系统4k随机写性能

Ø  小块4K随机读场景，验证存储系统4k随机读性能

Ø  大块512K顺序写场景，验证存储系统512k顺序写性能

Ø  大块512K顺序读场景，验证存储系统512k顺序读性能

Ø  混合读写场景（8k读写比7:3），验证存储系统8k混合读写性能（读写比7:3）

## （3） **可靠性测试需求点**

Ø  电源模块故障，验证热插拔单个电源模块的功能

Ø  电池模块故障，验证热插拔单个电池模块的功能

Ø  控制器模块故障，验证控制器故障自动接管和恢复功能

Ø  FC卡故障，验证FC插卡故障切换

Ø  RoCE卡故障，验证RoCE卡故障切换

Ø  磁盘故障恢复，验证配置磁盘故障重建功能

Ø  服务器HBA卡故障，验证服务器HBA卡故障切换验证

Ø  RAID TP三盘同时故障恢复，验证存储支持同时任意三盘失效不影响业务和数据

Ø  双活负载均衡验证，验证存储双活系统对于单个LUN，主机业务可以在两站点间实现业务负载均衡

Ø  双活单台存储故障恢复，验证存储双活系统在单台存储掉电故障时不影响业务

Ø  双活存储间复制链路故障恢复，验证存储双活系统在存储间复制链路故障时不影响业务

## （4） **测试结果**

功能及可靠性测试方面存储均能满足业务场景的需求，因性能是存储具体选型落地过程重要参考依据，以下就给出部分性能测试的结果，供有存储选型需求的朋友参考。

1、小块4K随机写场景

1)  使用 FIO 工具，配置1024k I/O，全顺序模型将测试LUN覆盖写一遍；

2)  配置 FIO 工具测试脚本：

a、I/O size为4k；

b、100%随机 写 ；

c 、预热1分钟，测试执行 1 0分钟；

执行测试，记录IOPS以及平均读写延迟。
  ![](/home/attachment/202305/06/381571_168335811828789.png)

2、小块4K随机读场景

1)  使用 FIO 工具，配置1024k I/O，全顺序模型将测试LUN覆盖写一遍；

2)  配置 FIO 工具测试脚本：

a、I/O size为4k；

b、100%随机读；

c、预热1分钟，测试执行 1 0分钟；

执行测试，记录IOPS以及平均读写延迟。
  ![](/home/attachment/202305/06/381571_168335813147717.png)

3、 512k顺序写性能

1)  使用 FIO 工具，配置1024k I/O，全顺序模型将测试LUN覆盖写一遍；

2)  配置 FIO 工具测试脚本：

a、I/O size为512k；

b、100%顺序写；

c、预热1分钟，测试执行 1 0分钟；

执行测试，记录吞吐量以及平均读写延迟。
![](/home/attachment/202305/06/381571_168335814131291.png)

4、512k顺序读性能

1)  使用 FIO 工具，配置1024k I/O，全顺序模型将测试LUN覆盖写一遍；

2)  配置 FIO 工具测试脚本：

a、 I/O size为512k；

b、100%顺序读；

c、预热1分钟，测试执行 1 0分钟；

执行测试，记录吞吐量以及平均读写延迟。
 ![](/home/attachment/202305/06/381571_168335814987396.png)

5、 混合读写场景（8k读写比7:3）

1)  使用 FIO 工具，配置1024k I/O，全顺序模型将测试LUN覆盖写一遍；

2)  配置 FIO 工具测试脚本：

a、I/O size为8k；

b、读写比例 7 ： 3 混合读写；

c、预热1分钟，测试执行 1 0分钟；

执行测试，记录IOPS以及平均读写延迟。
 ![](/home/attachment/202305/06/381571_168335815785331.png)

性能测试结果如下：

|   |   |   |   |
| ------------ | ------------ | ------------ | ------------ |
| 用例名称 | 测试结果 | IOPS | MBPS |
| 小块4k随机写性能测试(FC组网) | IOPS=339000 lat(avg)=0.991ms | 339000 | 1387 |
| 小块4k随机读性能测试(FC组网) | IOPS=597000 lat(avg)=0.642ms | 597000 | 2444 |
| 大块512k随机写性能测试(FC组网) | BW=5467MiB/s lat(avg)= 8.778ms | 11000 | 5467 |
| 大块512k随机写性能测试(FC组网) | BW=10444MiB/s lat(avg)=6.104ms | 20000 | 10444 |
| 混合读写（8k读写比7:3）性能测试(FC组网) | IOPS=473000 lat=0.811ms | 473000 | 3694 |

6、 测试总结

本次存储测试使用华为 Ocean Stor Dorado 5 3 00全闪存存储产品,在 对接国产服务器的 测试场景下，对存储系统的功能、性能 和 可靠性进行了充分测试, 测试 结果均符合预期，满足业务需求。

# 6、 **总结**

本文结合我行实际经验实施经验，介绍了华为OceanStor Dorado 5300系列中端全闪存储国产化替代实施方案，并基于银行业应用的特点，结合具体的场景及对存储功能的需求，对关键点、实施及运维的重点进行了分析与运用。在华为存储的落地实施中，既让国产化替代的规划得到实践，又以新产品新技术的角度提高业务系统的自主可控能力。本次实践充分考虑了未来扩展的需求，包括灾备能力的需求，对我行未来信息化建设过程的实践起到很好的指导作用。存储上线至今，已稳定运行近半年，承接了数个业务系统的存储需求。期待未来我们国产厂商能够更加精进中高端的存储产品，为我们自主可控战略提供更有利的支撑。

华为全闪存储国产化替代华为中端存储

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！