簡(jiǎn)介

博客：https://songxwn.com/

存儲(chǔ)策略 (Storage Policy) 是管理員定義的一組規(guī)則，這組規(guī)則定義了數(shù)據(jù)對(duì)象在 vSAN 存儲(chǔ)上是如何保存的，存儲(chǔ)策略定義了數(shù)據(jù)存儲(chǔ)的可靠性、訪問(wèn)性能等特性。vSAN 提供了基于存儲(chǔ)策略的存儲(chǔ)管理 SPBM (Storage Policy-Based Management)，管理員創(chuàng)建多個(gè)存儲(chǔ)策略，利用 SPBM 來(lái)對(duì) vSAN 存儲(chǔ)進(jìn)行靈活地管理，SPBM 是 vSAN 的一個(gè)重要特色。

本文簡(jiǎn)單介紹了vSAN 的OSA架構(gòu)，從vSphere 5.5版本開(kāi)始到7.0，只支持OSA，8.0以后除了支持OSA外，還支持ESA(Express Storage Architecture)。

OSA為傳統(tǒng)架構(gòu)，支持SSD+HDD的混合組，或者容量SSD+高速SSD的全閃存組。有容量和性能存儲(chǔ)分層。

ESA為全新閃存架構(gòu)，要求使用4塊以上的NVME SSD，512G內(nèi)存、25G網(wǎng)絡(luò)。無(wú)存儲(chǔ)分層。

起源

據(jù)說(shuō)啊OSA架構(gòu)是借鑒了路坦力（Nutanix）的設(shè)計(jì)，大概是2013年，SSD的價(jià)格還很貴，這個(gè)設(shè)計(jì)就是利用SSD的高性能，作為讀寫(xiě)緩存，提升超融合存儲(chǔ)的性能，算是個(gè)劃時(shí)代的產(chǎn)品。VMware的vSAN借鑒了這個(gè)思路，當(dāng)年路坦力的產(chǎn)品依附在VMware平臺(tái)上，而VMware幾乎是抄襲了路坦力，把路坦力氣的嘚嘚的，最后導(dǎo)致路坦力和VMware翻臉。

vSAN 基于虛擬機(jī)為對(duì)象的超融合分布式存儲(chǔ)

Distributed RAID:

vSAN將數(shù)據(jù)按一定的規(guī)則（Storage Policy）分布到集群各個(gè)物理主機(jī)上，確保數(shù)據(jù)可以在發(fā)生主機(jī)或存儲(chǔ)設(shè)備故障的時(shí)候可以恢復(fù)，類(lèi)似于磁盤(pán)整理上的RAID技術(shù)，可以理解成分布式的RAID

Objects:

vSAN是一個(gè)對(duì)象存儲(chǔ)，虛擬機(jī)是由多個(gè)對(duì)象組成，如虛擬機(jī)磁盤(pán)（VMDK），存儲(chǔ)虛擬機(jī)配置的VM home namespace，namespace這種對(duì)象，可以理解成目錄，vSAN的性能數(shù)據(jù)，ISO文件，內(nèi)容庫(kù)這些都是以namesapce的類(lèi)型存儲(chǔ)的；當(dāng)虛擬開(kāi)機(jī)的時(shí)候，VM swap object會(huì)被創(chuàng)建；當(dāng)故障發(fā)生的時(shí)候，vSAN會(huì)創(chuàng)建叫“durablility componet”的對(duì)象，以存儲(chǔ)新寫(xiě)入的數(shù)據(jù)。

每個(gè)虛擬機(jī)都可以應(yīng)用一個(gè)存儲(chǔ)策略，這代表每臺(tái)虛擬機(jī)冗余方法都可以不一樣。而數(shù)據(jù)分布也是每臺(tái)都是不同，分布在不同容量硬盤(pán)上。

Component

為了Object可以在故障的時(shí)候恢復(fù)，所以vSAN將Object切成更小的塊（chunk），一個(gè)object由多個(gè)componet構(gòu)成，可以理解為下圖

重要的存儲(chǔ)策略概念

對(duì)象磁盤(pán)條帶數(shù) (Number of disk stripes per object)

把虛機(jī)對(duì)象分成多個(gè)條帶 (stripe) 分布存儲(chǔ)在多個(gè)硬盤(pán)上，這樣有助于提高數(shù)據(jù)讀取的性能。在下圖的例子中，所示的虛機(jī)被分為兩個(gè)條帶 a 和 b 進(jìn)行存儲(chǔ)；因?yàn)橥瑫r(shí)又采用了 Raid-1，所以虛機(jī)對(duì)象又被保存了兩個(gè)副本，一個(gè)副本在服務(wù)器 ESX01 的磁盤(pán)組中，另一個(gè)副本存放在位于服務(wù)器 ESX02 和 ESX03 上的磁盤(pán)組中。（其實(shí)就相當(dāng)于 RAID 10）

對(duì)象條帶數(shù)實(shí)際上就是 Raid-0 的概念，只不過(guò)我們?cè)诙x Raid-0 的配置時(shí)，更多使用的是條帶寬度 (stripe width) 的概念，條帶寬度是指每一塊條帶塊的大小，條帶數(shù)量取決于組成 Raid-0 陣列的磁盤(pán)數(shù)量。vSAN 中對(duì)象條帶數(shù)缺省為1 (建議不要改動(dòng)這個(gè)值)，最大值為12。把這個(gè)值設(shè)置成大于1能夠提高系統(tǒng)性能，但是會(huì)引起更多的資源消耗。

讀緩存預(yù)留 (Flash read cache reservation %)

無(wú)論是機(jī)械硬盤(pán)和 SSD 組成的混合架構(gòu)，還是由高速NVME SSD 和普通SAS/SATA SSD 組成的全閃存架構(gòu)，vSAN 都會(huì)把兩種設(shè)備中性能更高的那種設(shè)備用作讀寫(xiě)緩存（全閃只會(huì)用于寫(xiě)緩存），從而來(lái)提高整個(gè)系統(tǒng)的性能。這個(gè)參數(shù)指定了為虛機(jī)對(duì)象保留的緩存 SSD 空間占比 (相對(duì)于虛機(jī)大小)，缺省為0% ；建議一般情況下不要改動(dòng)這個(gè)值，僅當(dāng)特定情況下需要提高性能時(shí)才改動(dòng)。

vSAN OSA 混合硬盤(pán)組里面的緩存盤(pán)劃分寫(xiě)緩沖區(qū)（30%）和讀緩存區(qū)（70%）。

vSAN OSA 全閃存硬盤(pán)里面的緩存盤(pán)只用于寫(xiě)緩存，最高利用容量為 600G / 1.6TB。（vSAN8 可擴(kuò)展到1.6TB）

vSAN OSA 緩存和容量硬盤(pán)比應(yīng)該是 1/10。

對(duì)象空間預(yù)留 (Object space reservation %)

vSphere 在創(chuàng)建虛機(jī)時(shí)虛擬硬盤(pán)有三種格式可以選擇：

• Thick Provision Lazy Zeroed（厚置延遲置零）：一開(kāi)始就分配足額空間給虛擬硬盤(pán)，但是等真正寫(xiě)入數(shù)據(jù)時(shí)才初始化（寫(xiě) 0）；

• Thick Provision Eager Zeroed（厚置快速置零）：一開(kāi)始就分配足額空間給虛擬硬盤(pán)，并且完全初始化（寫(xiě) 0），性能最優(yōu)；

• Thin Provision（精簡(jiǎn)置備）：根據(jù)虛擬硬盤(pán)的實(shí)際使用來(lái)分配空間，但在性能上要比上面兩種差一些。

一般為了節(jié)省存儲(chǔ)空間的話，會(huì)使用精簡(jiǎn)置備。

對(duì)象空間預(yù)留參數(shù)定義了創(chuàng)建虛機(jī)對(duì)象時(shí)，如果虛機(jī)采用的是 Thin Provision 方式的話，必須為虛機(jī)保留的存儲(chǔ)空間比例 (相對(duì)于虛機(jī)的大小)。

可以忍受的故障數(shù) FTT (Failure to Tolerate)

FTT (Failure to Tolerate) 是定義數(shù)據(jù)保護(hù)等級(jí)的一個(gè)重要參數(shù)，FTT = 1 意味著可以忍受一個(gè)節(jié)點(diǎn)的故障。跟 FTT 緊密相關(guān)的另一個(gè)參數(shù)是數(shù)據(jù)保護(hù)方法 FTM (Failure Tolerance Method)，FTM 也定義了數(shù)據(jù)布局的方式，vSAN 中的 FTM 主要有 Raid-1、Raid-5 和 Raid-6 這幾種。

Raid-1 就是鏡像 (Mirroring)，在另一臺(tái)服務(wù)器的磁盤(pán)組上保存數(shù)據(jù)的副本，當(dāng)其中一臺(tái)服務(wù)器發(fā)生故障時(shí)，也可以保證數(shù)據(jù)不丟失。下圖展示了 Raid-1 的工作原理，同一個(gè)數(shù)據(jù)對(duì)象存在兩個(gè)副本分別存放在兩臺(tái)服務(wù)器上，這種情況下對(duì)應(yīng) FTT = 1。

Raid-5 跟傳統(tǒng)的 Raid 5 磁盤(pán)陣列類(lèi)的概念類(lèi)似，只不過(guò)陣列不是由同一臺(tái)服務(wù)器上磁盤(pán)組成，而是由多臺(tái)服務(wù)器上的磁盤(pán)組成，通過(guò)增加奇偶校驗(yàn)塊來(lái)提高數(shù)據(jù)的容錯(cuò)能力。Raid-5 最少要求4個(gè)服務(wù)器節(jié)點(diǎn)，可以實(shí)現(xiàn) FTT = 1 的容錯(cuò)要求。跟 Raid-1 相比，Raid-5 可以至少節(jié)省 30% 的存儲(chǔ)空間。(在OSA架構(gòu)下，性能會(huì)有一定下降。)

Raid-6 的工作原理跟 Raid-5 類(lèi)似，只不過(guò)采用了雙份的奇偶校驗(yàn)塊，從而使數(shù)據(jù)的容錯(cuò)能力進(jìn)一步提高。Raid-6 最少要求6個(gè)服務(wù)器節(jié)點(diǎn)，可以實(shí)現(xiàn) FTT = 2 的容錯(cuò)要求。跟 Raid-1 相比，Raid-6 可以至少節(jié)省 50% 的存儲(chǔ)空間。(在OSA架構(gòu)下，性能會(huì)有一定下降。)

vSAN 中的 Raid-5/6 也稱(chēng)之為糾刪碼 (Erasure Coding)，我們可以把它理解成一種跨服務(wù)器的 Raid 陣列實(shí)現(xiàn)。

在ESA架構(gòu)中 Raid-5/6 的性能被優(yōu)化到和RAID1 接近。

IOPS (Input / Output Per Second) 限制

IOPS 是衡量存儲(chǔ)性能的一個(gè)重要指標(biāo)，vSAN 通過(guò)為虛機(jī)指定 IOPS 限制值，來(lái)控制虛機(jī)可以獲得的存儲(chǔ)訪問(wèn) QoS (Quality of Service) 服務(wù)質(zhì)量等級(jí)。通過(guò)這個(gè)值的設(shè)定可以限制某些非關(guān)鍵應(yīng)用虛機(jī)對(duì)于 vSAN 性能的占用，從而保證關(guān)鍵應(yīng)用虛機(jī)的存儲(chǔ)訪問(wèn)性能。

校驗(yàn)和 (checksum) 驗(yàn)證

校驗(yàn)和 (checksum) 是在數(shù)據(jù)處理和數(shù)據(jù)通信領(lǐng)域中，用于校驗(yàn)數(shù)據(jù)正確性的一種方法：把數(shù)據(jù)的各個(gè)位數(shù)累加起來(lái)，在處理數(shù)據(jù)結(jié)束之后根據(jù)這個(gè)數(shù)值判斷是否接收到的數(shù)據(jù)是否正確，如果數(shù)值匹配那么說(shuō)明數(shù)據(jù)被正確地處理了。校驗(yàn)和通常是以十六進(jìn)制為數(shù)制表示的形式來(lái)進(jìn)行計(jì)算，如十六進(jìn)制串: 0102030405060708 的校驗(yàn)和是 24 (十六進(jìn)制，十進(jìn)制累加結(jié)果為36)。

vSAN 在寫(xiě)入數(shù)據(jù)時(shí)同時(shí)也寫(xiě)入該數(shù)據(jù)的校驗(yàn)和，作為日后比對(duì)的依據(jù)。打開(kāi)該功能時(shí)，vSAN 在后臺(tái)執(zhí)行磁盤(pán)掃描 (Disk Scrubbing)，如果通過(guò)校驗(yàn)和驗(yàn)證發(fā)現(xiàn)了錯(cuò)誤，則重建數(shù)據(jù)，能夠自動(dòng)檢測(cè)和解決靜態(tài)磁盤(pán)錯(cuò)誤 (silent disk errors)。

強(qiáng)制調(diào)配 (Force Provisioning)

當(dāng)存儲(chǔ)策略中設(shè)定的規(guī)則不能滿足時(shí)，vSAN 也可以強(qiáng)制為虛機(jī)分配存儲(chǔ)空間，保證在一些極端條件下 (如存儲(chǔ)空間不夠) 也能夠?yàn)樘摍C(jī)分配空間，讓系統(tǒng)能夠正常地運(yùn)行下去。

存儲(chǔ)策略的定義和使用

定義存儲(chǔ)策略

存儲(chǔ)策略必須在虛機(jī)創(chuàng)建之前建立，這樣才可以在虛機(jī)創(chuàng)建時(shí)選擇使用；當(dāng)然 vSAN 有缺省的存儲(chǔ)策略，如果沒(méi)什么特殊需求的話，就可以使用缺省的策略。下圖示意了虛機(jī)存儲(chǔ)策略是如何被創(chuàng)建的，創(chuàng)建之后就可以在 web client 管理控制臺(tái)中看到 vSAN 集群中現(xiàn)有的存儲(chǔ)策略。

使用存儲(chǔ)策略

接下來(lái)就可以在創(chuàng)建虛機(jī)的時(shí)候指定它所使用的存儲(chǔ)策略了，或是修改現(xiàn)有虛機(jī)的存儲(chǔ)策略。下圖示意了修改一個(gè)虛機(jī)存儲(chǔ)策略的過(guò)程，管理員修改了虛機(jī)的存儲(chǔ)策略后，vSAN 會(huì)根據(jù)新的策略來(lái)調(diào)整虛機(jī)數(shù)據(jù)的存儲(chǔ)布局，以符合新的存儲(chǔ)策略的要求。

檢查存儲(chǔ)策略的合規(guī)性 (Compliant)

管理員也可以去檢查虛機(jī)對(duì)象的存儲(chǔ)是否符合存儲(chǔ)策略的規(guī)定，合規(guī) (Compliant) 的意思就是 vSAN 存儲(chǔ)滿足了存儲(chǔ)策略定義的要求。在存儲(chǔ)空間資源短缺的情況下，也會(huì)產(chǎn)生不合規(guī)的情況，例如要求采用鏡像來(lái)保存虛機(jī)對(duì)象，如果其他服務(wù)器上沒(méi)有足夠空間的話，結(jié)果只保存了一份虛機(jī)對(duì)象副本。如果出現(xiàn)不合規(guī)情況的話，就意味著數(shù)據(jù)對(duì)象沒(méi)有得到應(yīng)有的安全保護(hù)，也有可能是存儲(chǔ)策略設(shè)置得不合理，管理員就要立即采取行動(dòng)，找出造成違規(guī)的原因。

vSAN規(guī)劃注意

• 至少單臺(tái)物理服務(wù)器256G 內(nèi)存以上。

• 每臺(tái)服務(wù)器CPU是同型號(hào)，最少是同代。建議近三年發(fā)布的。

• 要求有單獨(dú)的接入交換機(jī)（方便網(wǎng)絡(luò)接入）。

• 要求集群數(shù)量最少三臺(tái)，推薦為四臺(tái)以上。

• vSAN 集群網(wǎng)絡(luò)之間延遲要求小于1毫秒，最好獨(dú)立VLAN。

• 要求有單獨(dú)兩塊硬盤(pán)做RAID1 作為系統(tǒng)盤(pán)，獨(dú)立于vSAN。

• vSAN 至少要求一個(gè)SSD+一個(gè)HDD，推薦為兩塊SDD 作為緩存層，兩塊HDD作為容量層，作為兩個(gè)硬盤(pán)組。

• 緩存硬盤(pán)和容量硬盤(pán)的總?cè)萘勘葢?yīng)該為1:10

• vSAN網(wǎng)絡(luò)要求10G起步，推薦使用25G*2

• 緩存盤(pán)和容量盤(pán)要求直通或RAID0，推薦用SAS卡接入，有一定隊(duì)列深度要求。

• 集群中所有vSAN主機(jī)相互訪問(wèn)延遲不應(yīng)該大于1MS.

• 網(wǎng)卡要求四個(gè)10G網(wǎng)卡，其中兩個(gè)作為管理、虛擬機(jī)遷移、vSAN網(wǎng)絡(luò)。其他兩個(gè)為業(yè)務(wù)網(wǎng)卡。

• 單個(gè)陣列卡，RAID和直通模式不能混用，否則vSAN會(huì)有問(wèn)題。vSAN告警

• vSAN 規(guī)定每個(gè)磁盤(pán)組最少需要一塊SSD作為緩存+一塊HDD/SSD作為容量層，最多一塊+7塊HDD/SSD作為容量層。每臺(tái)主機(jī)不能多于 5 個(gè)磁盤(pán)組。（vSAN會(huì)占用內(nèi)存、 HA也會(huì)預(yù)留內(nèi)存）

• vSAN緩存盤(pán)，30%作為寫(xiě)緩存 70%作為讀緩存。每個(gè)磁盤(pán)組僅可以有一個(gè)緩存盤(pán)。

• vSAN OSA 混合硬盤(pán)組，緩存層和容量層的大小比應(yīng)該最小為 1:10

• vSAN OSA 全閃存硬盤(pán)組，緩存盤(pán)最大利用率為600G。可增加使用到1.6TB

• vSAN ESA 架構(gòu)，需要每臺(tái)至少有512G內(nèi)存，四個(gè)NVME SSD，兩個(gè)25G網(wǎng)卡。

• vSAN可以部署RDMA 增加性能，但需要網(wǎng)卡+交換機(jī)支持。

硬件兼容性查詢(xún)：https://www.vmware.com/resources/compatibility/search.php

延伸閱讀

將 VMware vSphere / vSAN 軟件與 Intel 的最新硬件平臺(tái)技術(shù)相結(jié)合，可以為用戶(hù)交付最佳的超融合架構(gòu)平臺(tái)，幫助用戶(hù)簡(jiǎn)化數(shù)據(jù)中心管理，降低采購(gòu)和運(yùn)維成本，輕松應(yīng)對(duì)企業(yè)在數(shù)字化轉(zhuǎn)型中面對(duì)的各種挑戰(zhàn)。（AMD目前的服務(wù)器CPU性?xún)r(jià)比更高。）

• VMware vSAN 是最佳的存儲(chǔ)方案平臺(tái)，具有管理簡(jiǎn)便、高性能、低成本、易擴(kuò)展的特點(diǎn)，在 vSAN 平臺(tái)上可以支持任何類(lèi)型的應(yīng)用。

• Intel 至強(qiáng)處理器提供最強(qiáng)計(jì)算能力，基于傲騰 (Optane) 和 3D NAND 技術(shù)的固態(tài)盤(pán)是理想的高速緩存，以太網(wǎng)融合網(wǎng)卡提供穩(wěn)定的網(wǎng)絡(luò)帶寬和低網(wǎng)絡(luò)延遲。(傲騰 產(chǎn)品線已經(jīng)被放棄了。)

參考文檔

https://blogs.vmware.com/china/2018/12/29/vsan-%E5%AD%98%E5%82%A8%E7%AD%96%E7%95%A5%E6%BC%94%E7%A4%BA/

https://communities.vmware.com/t5/VMware-vSAN-Discussions/cache-size-in-vSAN-6-2/td-p/2225513

https://zhuanlan.zhihu.com/p/686508940