VDI漫衍式存储数据结构手艺白皮书

【漫衍式存储】本文先容VDI漫衍式存储产品中接纳的缓存加速的日志数据结构手艺，该手艺相比目今市面上主流的开源漫衍式存储产品，好比Ceph，能够带来2倍以上的有用容量和2倍以上的性能提升。

宣布时间：2020-04-10
点击量：
点赞：

分享至

我想谈论

概述

本文先容VDI漫衍式存储产品中接纳的缓存加速的日志数据结构手艺，该手艺相比目今市面上主流的开源漫衍式存储产品，好比Ceph，能够带来2倍以上的有用容量和2倍以上的性能提升。

VDI场景数据读写特征

VDI运动，一天或许包括如下几个阶段：

97国际·(中国区)集团官方网站

Boot Storm：起机风暴，需要提供分钟级的起机支持，不可影响正在运行的虚拟机，1000台桌面会爆发凌驾100K的IOPS。起机风暴的IO情形，又分成如下两种：

完整克�。�51%的48KB和64KB顺序读，17%顺序和随机各半的32KB读，最后是17%的4KB的随机读IO。完整的克隆压力同时体现在高带宽，凭证xstream io的测试，4000个桌面10分钟起机完成，IOPS 250K，峰值BW在9GB/s。
链接克�。河胪暾寺∠啾�，其bw小了，IOPS更高了，主要是由于在链接克隆下的起机，小IO（512B/4KB）更多。和完整克隆同样的测试情形，IOPS 310K，峰值BW 4.4GB/s，但IO基本上都为512和4K随机读写IO。

Login Storm：登录风暴，读写各半。
Virus Scanning：病毒扫描，主要是读。
Patching & Recomposing：补丁，重写，主要是写。
Steady State。通例的事情阶段，90%的IOPS是4KB、8KB的随机写IO。
补丁阶段随机读写各半。

其中，启机/上岸风暴的手艺见《VDI启机风暴手艺白皮书》，病毒扫描相关手艺见《Cache加速手艺白皮书》。这里形貌用户Steady State阶段的数据读写问题。

由上面的统计数据可知，Steady State阶段主要是4KB、8KB的随机写IO。随机写IO在纠删码设置下有RAID写处分（参考下一节形貌），性能往往知足不了营业需求。故VDI场景，古板上存储一样平常设置为副本，用更低的得盘率来获得性能上一定的提升。

浅谈RAID写处分与IOPS盘算
1. RAID写处分

存储计划妄想的历程中，基本的思量因素有两个，性能和容量。盘算后端物理磁盘的IOPS不可简朴的把物理磁盘的最大IOPS相加。缘故原由是关于差别的RAID级别，为了包管当物理磁盘损坏的情形下可以恢复数据，数据写入的历程中都需要举行一些特别的盘算。

好比关于RAID-5，条带上的恣意磁盘上的数据改变，都会重新盘算校验位。下图，一个7+1的RAID-5的条带中，7个磁盘存储数据，最后一个磁盘存储校验位。

97国际·(中国区)集团官方网站

关于一个数据的写入，我们假设在第5个磁盘上写入数据1111，如下图所示。

97国际·(中国区)集团官方网站

那么整个RAID-5需要完成写入的历程分为如下几步：

读取原数据0110，然后与新的数据1111做XOR操作：0110 XOR 1111 = 1001
读取原有的校验位数据0010
用办法1盘算出的数值与原校验位再做一次XOR操作：0010 XOR 1001 = 1011
将新数据1111写入到数据磁盘，将新的校验值1011写入校验盘

由上述几个办法可见，关于任何一次写入，在存储端，需要划分举行2次读取和2次写入，以是说RAID-5的写处分值是4。

差别RAID级别的写处分，如下表所示：

RAID类型	写处分
RAID-0	1
RAID-1	2
RAID-5	4
RAID-6	6
RAID-10	2

1. IOPS盘算

凭证上文的形貌，在现实存储计划设计的历程中，盘算现实可用IOPS的历程中必需纳入RAID的写惩�；�。盘算公式如下：

物理磁盘总IOPS = 物理磁盘的IOPS * 磁盘数目
可用的IOPS = （物理磁盘总IOPS * 写百分比 / RAID写处分）+（物理磁盘总IOPS * 读百分比）

假设组成RAID-5的物理磁盘总IOPS为1000，使用该存储的应用程序读写比例是10% / 90%，那么关于前端主机而言，现实可用的IOPS为：

（1000 * 90% / 4）+（1000 * 10%）= 325

故，在VDI场景Steady State阶段，RAID或者纠删码设置下，现实营业可用的IOPS很是低，往往知足不了营业需求。

缓存加速的日志数据结构手艺
1. 数据写入概述

VDI漫衍式存储接纳缓存加速的日志数据结构手艺，加速虚拟桌面用户的数据读写性能。详细办法如下：

桌面操作系统，数据写入存储
首先数据在外地节点的内存保存一份，同时凭证系统可靠性设置，用户数据写入1个或者2个镜像节点的SSD上，SSD接纳FIFO的形式顺序生涯这些Journal
数据镜像完成之后，返回操作系统数据写入乐成
外地节点数据聚合条带，盘算纠删码之后，顺序写入后端磁盘
同时，凭证智能缓存算法，热门数据生涯到SSD Cache上，供操作系统后续读取会见
数据落盘之后，镜像节点的FIFO Journal通过尾部指针地址偏移，释放Journal空间
1. 日志数据结构手艺

VDI漫衍式存储的日志数据结构接纳ROW方法，岂论是追加写照旧改写现有数据，都重新分派一个一连的地址空间写入。这样，无论用户的营业模子怎样，所有的写数据关于后端磁盘来说都是顺序的，阻止了古板RAID写流程所需的写处分。并且所有的数据都可以匀称的漫衍到差别的后端磁盘上，可以有用使用后端磁盘的总带宽和总IOPS。

如下图所示，LUN1写入A、B、C、D四个数据，LUN2写入A、B两个数据，存储系统将LUN1、LUN2的数据合并成一个条带，并盘算出2个校验值之后，将数据写入后端磁盘。

97国际·(中国区)集团官方网站

当修改数据爆发时，如下图所示。LUN1将数据B修订成b，LUN2写入C、D、E，LUN3写入数据A、B。系统会将这些数据聚合成条带，盘算校验值之后，写入后端磁盘，然后标记数据（1 B）为垃圾数据。

97国际·(中国区)集团官方网站

可是，当系统经由长时间的修改和写入后，会爆发大宗的垃圾数据，从而导致无法找到条带用于新的数据写入。日志数据结构手艺，通过全局垃圾接纳来重新整理空间，从而做到在任何容量使用率的情形下，都可以找到新条带用来数据写入。

若是条带上的数据都为垃圾数据，则直接接纳该条带。

97国际·(中国区)集团官方网站

若是条带上仅有部分脏数据，则将这些条带上的有用数据拷贝到新的条带之后，接纳这些条带。

97国际·(中国区)集团官方网站

1. 手艺优势

该手艺有如下优点：

SSD上Journal和Cache的数据写入都是顺序的，镌汰了SSD的擦写次数，可以将SSD寿命提高1个数目级。
将随机写IO聚合成顺序写IO，阻止了RAID算法的写处分，提升磁盘IOPS。以4KB的随机IO，128KB条带深度巨细为例，每个磁盘可以提供32（128 / 4）倍IOPS。
智能缓存预期算法，VDI数据读取操作只管SSD掷中，加速VDI数据读取性能，同时镌汰对后端磁盘的IOPS压力。以Cache掷中率80%为例，后端磁盘仅需要提供20%的读IO即可知足营业需求。

计划比照

思量如下需求：每个VDI节点50个VDI桌面，每个桌面100 IOPS，共需要存储提供5000 IOPS，其中写IO占90%。假设每个磁盘的吞吐为200MB/s，且能够提供200 IOPS。同时，我们假设读缓存掷中率为80%，假设SSD缓存性能足够知足该场景需求，同时假设VDI有用事情时间为天天8小时。较量古板3副本、缓存加速日志数据结构手艺8D2P EC和3副本下的有用容量和每磁盘能知足的营业IOPS需求。

1. 古板3副本

在该场景下，读操作首先判断Cache是否掷中，不然从后端磁盘读。写操作首先3副本写到对应的SSD上，后台异步将这些IO刷到对应的磁盘。

VDI节点需要后端磁盘提供的读IOPS为：总IOPS需求 * 读IO比例 * 缓存不掷中率。

5000 IOPS * 10% * 20% = 100 IOPS

3副本的写处分为3，在VDI节点一整天开机的情形下，需要的写IOPS为：总IOPS * 写IO比例 * 写处分 * 每周事情时间 / 每周开机时间。

5000 IOPS * 90% * 3 * （8 * 5） / （24 * 7） = 3214 IOPS

该场景下，共需要（3214 + 100）/ 200 ，约16个磁盘。平均每个磁盘能够知足该场景312（5000 / 16）营业IOPS需求。

1. 缓存加速日志数据结构8D2P

VDI节点需要后端提供的读IOPS和3副本类型的相同，为100 IOPS。

8D2P设置下，写处分系数为1.25，假设平均每个IO 8KB。同时，VDI产品中设置的条带深度为128KB。则需要的写IOPS为：总IOPS * 写IO比例 * 写处分 * 平均每个IO巨细 / 条带深度。

5000IOPS * 90% * 1.25 * 8KB / 128KB = 351 IOPS

该场景下，共需要（100 + 351）/ 200 ，约3个磁盘。平均每个磁盘知足该场景1667 (5000 / 3)营业IOPS需求。

1. 缓存加速日志数据结构3副本

读IOPS同样为100。

写IOPS需求为：5000 IOPS * 90% * 3 * 8KB / 128KB = 844 IOPS

该场景下，共需要（100 + 844）/ 200 ，约5个磁盘。平均每个磁盘知足1000营业IOPS需求。

1. 计划总结

下表较量该场景下，3副本和8D2P有用容量、每个硬盘提供的有用容量和性能。

	古板3副本	缓存加速日志数据结构3副本	缓存加速日志数据结构8D2P EC设置
有用容量	33%	33%	80%
每磁盘知足的营业IOPS	312	1000	1667