一、存儲(chǔ)基礎(chǔ)

1）單機(jī)存儲(chǔ)設(shè)備

●DAS（直接附加存儲(chǔ)，是直接接到計(jì)算機(jī)的主板總線上去的存儲(chǔ)）

IDE、SATA、SCSI、SAS、USB 接口的磁盤(pán)
所謂接口就是一種存儲(chǔ)設(shè)備驅(qū)動(dòng)下的磁盤(pán)設(shè)備，提供塊級(jí)別的存儲(chǔ)

●NAS（網(wǎng)絡(luò)附加存儲(chǔ)，是通過(guò)網(wǎng)絡(luò)附加到當(dāng)前主機(jī)文件系統(tǒng)之上的存儲(chǔ)）

NFS、CIFS、FTP
文件系統(tǒng)級(jí)別的存儲(chǔ)，本身就是一個(gè)做好的文件系統(tǒng)，通過(guò)nfs接口在用戶空間輸出后，客戶端基于內(nèi)核模塊與遠(yuǎn)程主機(jī)進(jìn)行網(wǎng)絡(luò)通信，把它轉(zhuǎn)為好像本地文件系統(tǒng)一樣來(lái)使用，這種存儲(chǔ)服務(wù)是沒(méi)辦法對(duì)它再一次格式化創(chuàng)建文件系統(tǒng)塊的

●SAN（存儲(chǔ)區(qū)域網(wǎng)絡(luò)）

SCSI協(xié)議（只是用來(lái)傳輸數(shù)據(jù)的存取操作，物理層使用SCSI線纜來(lái)傳輸）、FCSAN（物理層使用光纖來(lái)傳輸）、iSCSI（物理層使用以太網(wǎng)來(lái)傳輸）
也是一種網(wǎng)絡(luò)存儲(chǔ)，但不同之處在于SAN提供給客戶端主機(jī)使用的接口是塊級(jí)別的存儲(chǔ)

2）單機(jī)存儲(chǔ)的問(wèn)題

●存儲(chǔ)處理能力不足

傳統(tǒng)的IDE的IO值是100次/秒，SATA固態(tài)磁盤(pán)500次/秒，固態(tài)硬盤(pán)達(dá)到2000-4000次/秒。即使磁盤(pán)的IO能力再大數(shù)十倍，也不夠抗住網(wǎng)站訪問(wèn)高峰期數(shù)十萬(wàn)、數(shù)百萬(wàn)甚至上億用戶的同時(shí)訪問(wèn)，這同時(shí)還要受到主機(jī)網(wǎng)絡(luò)IO能力的限制。

●存儲(chǔ)空間能力不足

單塊磁盤(pán)的容量再大，也無(wú)法滿足用戶的正常訪問(wèn)所需的數(shù)據(jù)容量限制。

●單點(diǎn)故障問(wèn)題

單機(jī)存儲(chǔ)數(shù)據(jù)存在單點(diǎn)故障問(wèn)題

商業(yè)存儲(chǔ)解決方案

EMC、NetAPP、IBM、DELL、華為、浪潮

3）分布式存儲(chǔ)（軟件定義的存儲(chǔ) SDS）

Ceph、TFS、FastDFS、MooseFS（MFS）、HDFS、GlusterFS（GFS）
存儲(chǔ)機(jī)制會(huì)把數(shù)據(jù)分散存儲(chǔ)到多個(gè)節(jié)點(diǎn)上，具有高擴(kuò)展性、高性能、高可用性等優(yōu)點(diǎn)。

分布式存儲(chǔ)的類型

●塊存儲(chǔ)（例如硬盤(pán)，一般是一個(gè)存儲(chǔ)被一個(gè)服務(wù)器掛載使用，適用于容器或虛擬機(jī)存儲(chǔ)卷分配、日志存儲(chǔ)、文件存儲(chǔ)）
就是一個(gè)裸設(shè)備，用于提供沒(méi)有被組織過(guò)的存儲(chǔ)空間，底層以分塊的方式來(lái)存儲(chǔ)數(shù)據(jù)

●文件存儲(chǔ)（例如NFS，解決塊存儲(chǔ)無(wú)法共享問(wèn)題，可以一個(gè)存儲(chǔ)被多個(gè)服務(wù)器同時(shí)掛載，適用于目錄結(jié)構(gòu)的存儲(chǔ)、日志存儲(chǔ)）
是一種數(shù)據(jù)的組織存放接口，一般是建立在塊級(jí)別的存儲(chǔ)結(jié)構(gòu)之上，以文件形式來(lái)存儲(chǔ)數(shù)據(jù)，而文件的元數(shù)據(jù)和實(shí)際數(shù)據(jù)是分開(kāi)存儲(chǔ)的

●對(duì)象存儲(chǔ)（例如OSS，一個(gè)存儲(chǔ)可以被多服務(wù)同時(shí)訪問(wèn)，具備塊存儲(chǔ)的高速讀寫(xiě)能力，也具備文件存儲(chǔ)共享的特性，適用圖片存儲(chǔ)、視頻存儲(chǔ)）
基于API接口提供的文件存儲(chǔ)，每一個(gè)文件都是一個(gè)對(duì)象，且文件大小各不相同的，文件的元數(shù)據(jù)和實(shí)際數(shù)據(jù)是存放在一起的

二、Ceph 簡(jiǎn)介

Ceph使用C++語(yǔ)言開(kāi)發(fā)，是一個(gè)開(kāi)放、自我修復(fù)和自我管理的開(kāi)源分布式存儲(chǔ)系統(tǒng)。具有高擴(kuò)展性、高性能、高可靠性的優(yōu)點(diǎn)。

Ceph目前已得到眾多云計(jì)算廠商的支持并被廣泛應(yīng)用。RedHat及OpenStack，Kubernetes都可與Ceph整合以支持虛擬機(jī)鏡像的后端存儲(chǔ)。

粗略估計(jì)，我國(guó)70%—80%的云平臺(tái)都將Ceph作為底層的存儲(chǔ)平臺(tái)，由此可見(jiàn)Ceph儼然成為了開(kāi)源云平臺(tái)的標(biāo)配。目前國(guó)內(nèi)使用Ceph搭建分布式存儲(chǔ)系統(tǒng)較為成功的企業(yè)有華為、阿里、中興、華三、浪潮、中國(guó)移動(dòng)、網(wǎng)易、樂(lè)視、360、星辰天合存儲(chǔ)、杉巖數(shù)據(jù)等。?

三、Ceph 優(yōu)勢(shì)

• 高擴(kuò)展性：去中心化，支持使用普通X86服務(wù)器，支持上千個(gè)存儲(chǔ)節(jié)點(diǎn)的規(guī)模，支持TB到EB級(jí)的擴(kuò)展。
• 高可靠性：沒(méi)有單點(diǎn)故障，多數(shù)據(jù)副本，自動(dòng)管理，自動(dòng)修復(fù)。
• 高性能：摒棄了傳統(tǒng)的集中式存儲(chǔ)元數(shù)據(jù)尋址的方案，采用 CRUSH 算法，數(shù)據(jù)分布均衡，并行度高。
• 功能強(qiáng)大：Ceph是個(gè)大一統(tǒng)的存儲(chǔ)系統(tǒng)，集塊存儲(chǔ)接口（RBD）、文件存儲(chǔ)接口（CephFS）、對(duì)象存儲(chǔ)接口（RadosGW）于一身，因而適用于不同的應(yīng)用場(chǎng)景。

四、Ceph 架構(gòu)

自下向上，可以將Ceph系統(tǒng)分為四個(gè)層次:

●RADOS 基礎(chǔ)存儲(chǔ)系統(tǒng)（Reliab1e，Autonomic，Distributed object store，即可靠的、自動(dòng)化的、分布式的對(duì)象存儲(chǔ)）

RADOS是Ceph最底層的功能模塊，是一個(gè)無(wú)限可擴(kuò)容的對(duì)象存儲(chǔ)服務(wù)，能將文件拆解成無(wú)數(shù)個(gè)對(duì)象（碎片）存放在硬盤(pán)中，大大提高了數(shù)據(jù)的穩(wěn)定性。它主要由OSD和Monitor兩個(gè)組件組成，OSD和Monitor都可以部署在多臺(tái)服務(wù)器中，這就是ceph分布式的由來(lái)，高擴(kuò)展性的由來(lái)。

●LIBRADOS 基礎(chǔ)庫(kù)

Librados提供了與RADOS進(jìn)行交互的方式，并向上層應(yīng)用提供Ceph服務(wù)的API接口，因此上層的RBD、RGW和CephFS都是通過(guò)Librados訪問(wèn)的，目前提供PHP、Ruby、Java、Python、Go、C和C++支持，以便直接基于RADOS（而不是整個(gè)Ceph）進(jìn)行客戶端應(yīng)用開(kāi)發(fā)。

●高層應(yīng)用接口：包括了三個(gè)部分

1）對(duì)象存儲(chǔ)接口 RGW（RADOS Gateway）
網(wǎng)關(guān)接口，基于Librados開(kāi)發(fā)的對(duì)象存儲(chǔ)系統(tǒng)，提供S3和Swift兼容的RESTful API接口。

2）塊存儲(chǔ)接口 RBD（Reliable Block Device）
基于Librados提供塊設(shè)備接口，主要用于Host/VM。

3）文件存儲(chǔ)接口 CephFS（Ceph File System）
Ceph文件系統(tǒng)，提供了一個(gè)符合POSIX標(biāo)準(zhǔn)的文件系統(tǒng)，它使用Ceph存儲(chǔ)集群在文件系統(tǒng)上存儲(chǔ)用戶數(shù)據(jù)?；贚ibrados提供的分布式文件系統(tǒng)接口。

●應(yīng)用層：基于高層接口或者基礎(chǔ)庫(kù)Librados開(kāi)發(fā)出來(lái)的各種APP，或者Host、VM等諸多客戶端

五、Ceph 核心組件

Ceph是一個(gè)對(duì)象式存儲(chǔ)系統(tǒng)，它把每一個(gè)待管理的數(shù)據(jù)流（如文件等數(shù)據(jù)）切分為一到多個(gè)固定大小（默認(rèn)4兆）的對(duì)象數(shù)據(jù)（Object），并以其為原子單元（原子是構(gòu)成元素的最小單元）完成數(shù)據(jù)的讀寫(xiě)。

●OSD（Object Storage Daemon，守護(hù)進(jìn)程 ceph-osd）
是負(fù)責(zé)物理存儲(chǔ)的進(jìn)程，一般配置成和磁盤(pán)一一對(duì)應(yīng)，一塊磁盤(pán)啟動(dòng)一個(gè)OSD進(jìn)程。主要功能是存儲(chǔ)數(shù)據(jù)、復(fù)制數(shù)據(jù)、平衡數(shù)據(jù)、恢復(fù)數(shù)據(jù)，以及與其它OSD間進(jìn)行心跳檢查，負(fù)責(zé)響應(yīng)客戶端請(qǐng)求返回具體數(shù)據(jù)的進(jìn)程等。通常至少需要3個(gè)OSD來(lái)實(shí)現(xiàn)冗余和高可用性。

●PG（Placement Group 歸置組）
PG 是一個(gè)虛擬的概念而已，物理上不真實(shí)存在。它在數(shù)據(jù)尋址時(shí)類似于數(shù)據(jù)庫(kù)中的索引：Ceph 先將每個(gè)對(duì)象數(shù)據(jù)通過(guò)HASH算法固定映射到一個(gè) PG 中，然后將 PG 通過(guò) CRUSH 算法映射到 OSD。

●Pool
Pool 是存儲(chǔ)對(duì)象的邏輯分區(qū)，它起到 namespace 的作用。每個(gè) Pool 包含一定數(shù)量（可配置）的 PG。Pool 可以做故障隔離域，根據(jù)不同的用戶場(chǎng)景統(tǒng)一進(jìn)行隔離。

Pool中數(shù)據(jù)保存方式支持兩種類型：

●多副本（replicated）：類似 raid1，一個(gè)對(duì)象數(shù)據(jù)默認(rèn)保存 3 個(gè)副本，放在不同的 OSD
●糾刪碼（Erasure Code）：類似 raid5，對(duì) CPU 消耗稍大，但是節(jié)約磁盤(pán)空間，對(duì)象數(shù)據(jù)保存只有 1 個(gè)副本。由于Ceph部分功能不支持糾刪碼池，此類型存儲(chǔ)池使用不多

Pool、PG 和 OSD 的關(guān)系：

一個(gè)Pool里有很多個(gè)PG；一個(gè)PG里包含一堆對(duì)象，一個(gè)對(duì)象只能屬于一個(gè)PG；PG有主從之分，一個(gè)PG分布在不同的OSD上（針對(duì)多副本類型）

●Monitor（守護(hù)進(jìn)程 ceph-mon）
用來(lái)保存OSD的元數(shù)據(jù)。負(fù)責(zé)維護(hù)集群狀態(tài)的映射視圖（Cluster Map：OSD Map、Monitor Map、PG Map 和 CRUSH Map），維護(hù)展示集群狀態(tài)的各種圖表， 管理集群客戶端認(rèn)證與授權(quán)。一個(gè)Ceph集群通常至少需要 3 或 5 個(gè)（奇數(shù)個(gè)）Monitor 節(jié)點(diǎn)才能實(shí)現(xiàn)冗余和高可用性，它們通過(guò) Paxos 協(xié)議實(shí)現(xiàn)節(jié)點(diǎn)間的同步數(shù)據(jù)。

●Manager（守護(hù)進(jìn)程 ceph-mgr）
負(fù)責(zé)跟蹤運(yùn)行時(shí)指標(biāo)和 Ceph 集群的當(dāng)前狀態(tài)，包括存儲(chǔ)利用率、當(dāng)前性能指標(biāo)和系統(tǒng)負(fù)載。為外部監(jiān)視和管理系統(tǒng)提供額外的監(jiān)視和接口，例如 zabbix、prometheus、 cephmetrics 等。一個(gè) Ceph 集群通常至少需要 2 個(gè) mgr 節(jié)點(diǎn)實(shí)現(xiàn)高可用性，基于 raft 協(xié)議實(shí)現(xiàn)節(jié)點(diǎn)間的信息同步。

●MDS（Metadata Server，守護(hù)進(jìn)程 ceph-mds）
是 CephFS 服務(wù)依賴的元數(shù)據(jù)服務(wù)。負(fù)責(zé)保存文件系統(tǒng)的元數(shù)據(jù)，管理目錄結(jié)構(gòu)。對(duì)象存儲(chǔ)和塊設(shè)備存儲(chǔ)不需要元數(shù)據(jù)服務(wù)；如果不使用 CephFS 可以不安裝。

六、OSD 存儲(chǔ)后端

OSD 有兩種方式管理它們存儲(chǔ)的數(shù)據(jù)。在 Luminous 12.2.z 及以后的發(fā)行版中，默認(rèn)（也是推薦的）后端是 BlueStore。在 Luminous 發(fā)布之前， 默認(rèn)是 FileStore， 也是唯一的選項(xiàng)。
●Filestore
FileStore是在Ceph中存儲(chǔ)對(duì)象的一個(gè)遺留方法。它依賴于一個(gè)標(biāo)準(zhǔn)文件系統(tǒng)（只能是XFS)，并結(jié)合一個(gè)鍵/值數(shù)據(jù)庫(kù)（傳統(tǒng)上是LevelDB，現(xiàn)在BlueStore是RocksDB），用于保存和管理元數(shù)據(jù)。
FileStore經(jīng)過(guò)了良好的測(cè)試，在生產(chǎn)中得到了廣泛的應(yīng)用。然而，由于它的總體設(shè)計(jì)和對(duì)傳統(tǒng)文件系統(tǒng)的依賴，使得它在性能上存在許多不足。

●Bluestore
BlueStore是一個(gè)特殊用途的存儲(chǔ)后端，專門(mén)為OSD工作負(fù)載管理磁盤(pán)上的數(shù)據(jù)而設(shè)計(jì)。BlueStore 的設(shè)計(jì)是基于十年來(lái)支持和管理 Filestore 的經(jīng)驗(yàn)。BlueStore 相較于 Filestore，具有更好的讀寫(xiě)性能和安全性。

BlueStore 的主要功能包括：

1）BlueStore直接管理存儲(chǔ)設(shè)備，即直接使用原始?jí)K設(shè)備或分區(qū)管理磁盤(pán)上的數(shù)據(jù)。這樣就避免了抽象層的介入（例如本地文件系統(tǒng)，如XFS)，因?yàn)槌橄髮訒?huì)限制性能或增加復(fù)雜性。
2）BlueStore使用RocksDB進(jìn)行元數(shù)據(jù)管理。RocksDB的鍵/值數(shù)據(jù)庫(kù)是嵌入式的，以便管理內(nèi)部元數(shù)據(jù)，包括將對(duì)象名稱映射到磁盤(pán)上的塊位置。
3）寫(xiě)入BlueStore的所有數(shù)據(jù)和元數(shù)據(jù)都受一個(gè)或多個(gè)校驗(yàn)和的保護(hù)。未經(jīng)驗(yàn)證，不會(huì)從磁盤(pán)讀取或返回給用戶任何數(shù)據(jù)或元數(shù)據(jù)。
4）支持內(nèi)聯(lián)壓縮。數(shù)據(jù)在寫(xiě)入磁盤(pán)之前可以選擇性地進(jìn)行壓縮。
5）支持多設(shè)備元數(shù)據(jù)分層。BlueStore允許將其內(nèi)部日志（WAL預(yù)寫(xiě)日志）寫(xiě)入單獨(dú)的高速設(shè)備（如SSD、NVMe或NVDIMM)，以提高性能。如果有大量更快的可用存儲(chǔ)，則可以將內(nèi)部元數(shù)據(jù)存儲(chǔ)在更快的設(shè)備上。
6）支持高效的寫(xiě)時(shí)復(fù)制。RBD和CephFS快照依賴于在BlueStore中有效實(shí)現(xiàn)的即寫(xiě)即復(fù)制克隆機(jī)制。這將為常規(guī)快照和擦除編碼池（依賴克隆實(shí)現(xiàn)高效的兩階段提交）帶來(lái)高效的I/O。

七、Ceph 數(shù)據(jù)的存儲(chǔ)過(guò)程

1）客戶端從 mon 獲取最新的 Cluster Map

2）在 Ceph 中，一切皆對(duì)象。Ceph 存儲(chǔ)的數(shù)據(jù)都會(huì)被切分成為一到多個(gè)固定大小的對(duì)象（Object）。Object size 大小可以由管理員調(diào)整，通常為 2M 或 4M。
每個(gè)對(duì)象都會(huì)有一個(gè)唯一的 OID，由 ino 與 ono 組成：
●ino ：即是文件的 FileID，用于在全局唯一標(biāo)識(shí)每一個(gè)文件
●ono ：則是分片的編號(hào)
比如：一個(gè)文件 FileID 為 A，它被切成了兩個(gè)對(duì)象，一個(gè)對(duì)象編號(hào)0，另一個(gè)編號(hào)1，那么這兩個(gè)文件的 oid 則為 A0 與 A1。
OID 的好處是可以唯一標(biāo)示每個(gè)不同的對(duì)象，并且存儲(chǔ)了對(duì)象與文件的從屬關(guān)系。由于 Ceph 的所有數(shù)據(jù)都虛擬成了整齊劃一的對(duì)象，所以在讀寫(xiě)時(shí)效率都會(huì)比較高。

3）通過(guò)對(duì) OID 使用 HASH 算法得到一個(gè)16進(jìn)制的特征碼，用特征碼與 Pool 中的 PG 總數(shù)取余，得到的序號(hào)則是 PGID 。
即 Pool_ID + HASH(OID) % PG_NUM 得到 PGID

4）PG 會(huì)根據(jù)設(shè)置的副本數(shù)量進(jìn)行復(fù)制，通過(guò)對(duì) PGID 使用 CRUSH 算法算出 PG 中目標(biāo)主和次 OSD 的 ID，存儲(chǔ)到不同的 OSD 節(jié)點(diǎn)上（其實(shí)是把 PG 中的所有對(duì)象存儲(chǔ)到 OSD 上）。
即通過(guò) CRUSH(PGID) 得到將 PG 中的數(shù)據(jù)存儲(chǔ)到各個(gè) OSD 組中
CRUSH 是 Ceph 使用的數(shù)據(jù)分布算法，類似一致性哈希，讓數(shù)據(jù)分配到預(yù)期的地方。

八、Ceph 版本發(fā)行生命周期

Ceph從Nautilus版本（14.2.0）開(kāi)始，每年都會(huì)有一個(gè)新的穩(wěn)定版發(fā)行，預(yù)計(jì)是每年的3月份發(fā)布，每年的新版本都會(huì)起一個(gè)新的名稱（例如，“Mimic”）和一個(gè)主版本號(hào)（例如，13代表Mimic，因?yàn)椤癕”是字母表的第13個(gè)字母）。

版本號(hào)的格式為 x.y.z，x 表示發(fā)布周期（例如，13 代表 Mimic，17 代表 Quincy），y 表示發(fā)布版本類型，即
● x.0.z ：y等于 0，表示開(kāi)發(fā)版本
● x.1.z ：y等于 1，表示發(fā)布候選版本（用于測(cè)試集群）
● x.2.z ：y等于 2，表示穩(wěn)定/錯(cuò)誤修復(fù)版本（針對(duì)用戶）

九、Ceph 集群部署

目前 Ceph 官方提供很多種部署 Ceph 集群的方法，常用的分別是 ceph-deploy，cephadm 和 二進(jìn)制：
●ceph-deploy ：一個(gè)集群自動(dòng)化部署工具，使用較久，成熟穩(wěn)定，被很多自動(dòng)化工具所集成，可用于生產(chǎn)部署。

●cephadm ：從 Octopus 和較新的版本版本后使用 cephadm 來(lái)部署 ceph 集群，使用容器和 systemd 安裝和管理 Ceph 集群。目前不建議用于生產(chǎn)環(huán)境。

●二進(jìn)制：手動(dòng)部署，一步步部署 Ceph 集群，支持較多定制化和了解部署細(xì)節(jié)，安裝難度較大。

1）ceph-deploy 部署 Ceph 集群

Ceph 生產(chǎn)環(huán)境推薦：

1、存儲(chǔ)集群全采用萬(wàn)兆網(wǎng)絡(luò)
2、集群網(wǎng)絡(luò)（cluster-network，用于集群內(nèi)部通訊）與公共網(wǎng)絡(luò)（public-network，用于外部訪問(wèn)Ceph集群）分離
3、mon、mds 與 osd 分離部署在不同主機(jī)上（測(cè)試環(huán)境中可以讓一臺(tái)主機(jī)節(jié)點(diǎn)運(yùn)行多個(gè)組件）
4、OSD 使用 SATA 亦可
5、根據(jù)容量規(guī)劃集群
6、至強(qiáng)E5 2620 V3或以上 CPU，64GB或更高內(nèi)存
7、集群主機(jī)分散部署，避免機(jī)柜的電源或者網(wǎng)絡(luò)故障

Ceph 環(huán)境規(guī)劃

主機(jī)名	?Public網(wǎng)絡(luò)	?Cluster網(wǎng)絡(luò)	? 角色
admin??	192.168.110.60?		admin（管理節(jié)點(diǎn)負(fù)責(zé)集群整體部署）、client
?node01（/dev/sdb、/dev/sdc、/dev/sdd）??	?192.168.110.100	192.168.120.100	mon、mgr、osd
node02? （/dev/sdb、/dev/sdc、/dev/sdd）	?? 192.168.110.90? ?	?192.168.120.90	mon、mgr、osd
node03（/dev/sdb、/dev/sdc、/dev/sdd）	192.168.110.70?	192.168.120.70? ?	mon、mgr、osd
client	192.168.110.50?		? client

環(huán)境準(zhǔn)備

可選步驟：創(chuàng)建 Ceph 的管理用戶

useradd cephadm
passwd cephadm

visudo
cephadm ALL=(root) NOPASSWD:ALL

1、關(guān)閉 selinux 與防火墻

systemctl disable --now firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

2、根據(jù)規(guī)劃設(shè)置主機(jī)名

hostnamectl set-hostname admin
hostnamectl set-hostname node01
hostnamectl set-hostname node02
hostnamectl set-hostname node03
hostnamectl set-hostname client

3、配置 hosts 解析

cat >> /etc/hosts << EOF
192.168.110.60? admin
192.168.110.100?node01
192.168.110.90? node02
192.168.110.70? node03
192.168.110.50? client
EOF

4、安裝常用軟件和依賴包

yum -y install epel-release
yum -y install yum-plugin-priorities yum-utils ntpdate python-setuptools python-pip gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel zip unzip ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5-devel libidn libidn-devel openssl openssh openssl-devel nss_ldap openldap openldap-devel openldap-clients openldap-servers libxslt-devel libevent-devel ntp libtool-ltdl bison libtool vim-enhanced python wget lsof iptraf strace lrzsz kernel-devel kernel-headers pam-devel tcl tk cmake ncurses-devel bison setuptool popt-devel net-snmp screen perl-devel pcre-devel net-snmp screen tcpdump rsync sysstat man iptables sudo libconfig git bind-utils tmux elinks numactl iftop bwm-ng net-tools expect snappy leveldb gdisk python-argparse gperftools-libs conntrack ipset jq libseccomp socat chrony sshpass

5、在 admin 管理節(jié)點(diǎn)配置 ssh 免密登錄所有節(jié)點(diǎn)

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
sshpass -p 'zxr123' ssh-copy-id -o StrictHostKeyChecking=no root@admin
sshpass -p 'zxr123' ssh-copy-id -o StrictHostKeyChecking=no root@node01
sshpass -p 'zxr123' ssh-copy-id -o StrictHostKeyChecking=no root@node02
sshpass -p 'zxr123' ssh-copy-id -o StrictHostKeyChecking=no root@node03

6、配置時(shí)間同步

systemctl enable --now chronyd
timedatectl set-ntp true?? ??? ??? ??? ???   ?#開(kāi)啟 NTP
timedatectl set-timezone Asia/Shanghai?? ??? ?#設(shè)置時(shí)區(qū)
chronyc -a makestep?? ??? ??? ??? ??? ??? ????#強(qiáng)制同步下系統(tǒng)時(shí)鐘
timedatectl status?? ??? ??? ??? ??? ??? ??? ?#查看時(shí)間同步狀態(tài)
chronyc sources -v?? ??? ??? ??? ??? ??? ??? ?#查看 ntp 源服務(wù)器信息
timedatectl set-local-rtc 0?? ??? ??? ??? ????#將當(dāng)前的UTC時(shí)間寫(xiě)入硬件時(shí)鐘

重啟依賴于系統(tǒng)時(shí)間的服務(wù)

systemctl restart rsyslog?
systemctl restart crond

關(guān)閉無(wú)關(guān)服務(wù)

systemctl disable --now postfix

7、配置 Ceph yum源

wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate

rpm -ivh ceph-release-1-1.el7.noarch.rpm --force

8、執(zhí)行完上面所有的操作之后重啟所有主機(jī)（可選）

sync
reboot（poweroff）

在poweroff后添加硬盤(pán)和網(wǎng)卡

2）部署 Ceph 集群

1、為所有節(jié)點(diǎn)都創(chuàng)建一個(gè) Ceph 工作目錄，后續(xù)的工作都在該目錄下進(jìn)行

mkdir -p /etc/ceph

2、安裝 ceph-deploy 部署工具

cd /etc/ceph
yum install -y ceph-deploy

ceph-deploy --version

3、在管理節(jié)點(diǎn)為其它節(jié)點(diǎn)安裝 Ceph 軟件包

ceph-deploy 2.0.1 默認(rèn)部署的是 mimic 版的 Ceph，若想安裝其他版本的 Ceph，可以用 --release 手動(dòng)指定版本

cd /etc/ceph
ceph-deploy install --release nautilus node0{1..3} admin

ceph-deploy install 本質(zhì)就是在執(zhí)行下面的命令：

yum clean all
yum -y install epel-release
yum -y install yum-plugin-priorities
yum -y install ceph-release ceph ceph-radosgw

也可采用手動(dòng)安裝 Ceph 包方式，在其它節(jié)點(diǎn)上執(zhí)行下面的命令將 Ceph 的安裝包都部署上：

sed -i 's#download.ceph.com#mirrors.tuna.tsinghua.edu.cn/ceph#' /etc/yum.repos.d/ceph.repo
yum install -y ceph-mon ceph-radosgw ceph-mds ceph-mgr ceph-osd ceph-common ceph

4、生成初始配置

在管理節(jié)點(diǎn)運(yùn)行下述命令，告訴 ceph-deploy 哪些是 mon 監(jiān)控節(jié)點(diǎn)

cd /etc/ceph
ceph-deploy new --public-network 192.168.80.0/24 --cluster-network 192.168.100.0/24 node01 node02 node03

命令執(zhí)行成功后會(huì)在 /etc/ceph 下生成配置文件

ls /etc/ceph
ceph.conf????? ??? ??? ??? ?#ceph的配置文件
ceph-deploy-ceph.log?? ??? ?#monitor的日志
ceph.mon.keyring?? ??? ??? ?#monitor的密鑰環(huán)文件

5、在管理節(jié)點(diǎn)初始化 mon 節(jié)點(diǎn)

cd /etc/ceph
ceph-deploy mon create node01 node02 node03?? ??? ??#創(chuàng)建 mon 節(jié)點(diǎn)，由于 monitor 使用 Paxos 算法，其高可用集群節(jié)點(diǎn)數(shù)量要求為大于等于 3 的奇數(shù)臺(tái)

ceph-deploy --overwrite-conf mon create-initial?? ??? ?#配置初始化 mon 節(jié)點(diǎn)，并向所有節(jié)點(diǎn)同步配置# --overwrite-conf 參數(shù)用于表示強(qiáng)制覆蓋配置文件

ceph-deploy gatherkeys node01?? ??? ??? ??? ??? ??? ?#可選操作，向 node01 節(jié)點(diǎn)收集所有密鑰

命令執(zhí)行成功后會(huì)在 /etc/ceph 下生成配置文件

ls /etc/ceph
ceph.bootstrap-mds.keyring?? ??? ??? ?#引導(dǎo)啟動(dòng) mds 的密鑰文件
ceph.bootstrap-mgr.keyring?? ??? ??? ?#引導(dǎo)啟動(dòng) mgr 的密鑰文件
ceph.bootstrap-osd.keyring?? ??? ??? ?#引導(dǎo)啟動(dòng) osd 的密鑰文件
ceph.bootstrap-rgw.keyring?? ??? ??? ?#引導(dǎo)啟動(dòng) rgw 的密鑰文件
ceph.client.admin.keyring?? ??? ???  ?#ceph客戶端和管理端通信的認(rèn)證密鑰，擁有ceph集群的所有權(quán)限
ceph.conf 
ceph-deploy-ceph.log
ceph.mon.keyring

在 mon 節(jié)點(diǎn)上查看自動(dòng)開(kāi)啟的 mon 進(jìn)程

ps aux | grep ceph

在管理節(jié)點(diǎn)查看 Ceph 集群狀態(tài)

cd /etc/ceph
ceph -s

查看 mon 集群選舉的情況

ceph quorum_status --format json-pretty | grep leader

擴(kuò)容 mon 節(jié)點(diǎn)

ceph-deploy mon add <節(jié)點(diǎn)名稱>

6、部署能夠管理 Ceph 集群的節(jié)點(diǎn)（可選）

可實(shí)現(xiàn)在各個(gè)節(jié)點(diǎn)執(zhí)行 ceph 命令管理集群

cd /etc/ceph
ceph-deploy --overwrite-conf config push node01 node02 node03?? ??? ?#向所有 mon 節(jié)點(diǎn)同步配置，確保所有 mon 節(jié)點(diǎn)上的 ceph.conf 內(nèi)容必須一致

ceph-deploy admin node01 node02 node03?? ??? ??? ?#本質(zhì)就是把 ceph.client.admin.keyring 集群認(rèn)證文件拷貝到各個(gè)節(jié)點(diǎn)

在 mon 節(jié)點(diǎn)上查看

ls /etc/ceph
ceph.client.admin.keyring ?ceph.conf ?rbdmap ?tmpr8tzyc

cd /etc/ceph
ceph -s

7、部署 osd 存儲(chǔ)節(jié)點(diǎn)

主機(jī)添加完硬盤(pán)后不要分區(qū)，直接使用

lsblk?

如果是利舊的硬盤(pán)，則需要先擦凈（刪除分區(qū)表）磁盤(pán)（可選，無(wú)數(shù)據(jù)的新硬盤(pán)可不做）

cd /etc/ceph
ceph-deploy disk zap node01 /dev/sdb
ceph-deploy disk zap node02 /dev/sdb
ceph-deploy disk zap node03 /dev/sdb

添加 osd 節(jié)點(diǎn)

ceph-deploy --overwrite-conf osd create node01 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdb

查看 ceph 集群狀態(tài)

ceph -s

ceph osd stat

ceph osd tree

rados df

ssh root@node01 systemctl status ceph-osd@0
ssh root@node02 systemctl status ceph-osd@1
ssh root@node03 systemctl status ceph-osd@2

ceph osd status ? ?#查看 osd 狀態(tài)，需部署 mgr 后才能執(zhí)行

ceph osd df ? ?#查看 osd 容量，需部署 mgr 后才能執(zhí)行

擴(kuò)容 osd 節(jié)點(diǎn)

cd /etc/ceph
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdd

添加 OSD 中會(huì)涉及到 PG 的遷移，由于此時(shí)集群并沒(méi)有數(shù)據(jù)，因此 health 的狀態(tài)很快就變成 OK，如果在生產(chǎn)環(huán)境中添加節(jié)點(diǎn)則會(huì)涉及到大量的數(shù)據(jù)的遷移。

8、部署 mgr 節(jié)點(diǎn)

#ceph-mgr守護(hù)進(jìn)程以Active/Standby模式運(yùn)行，可確保在Active節(jié)點(diǎn)或其ceph-mgr守護(hù)進(jìn)程故障時(shí)，其中的一個(gè)Standby實(shí)例可以在不中斷服務(wù)的情況下接管其任務(wù)。根據(jù)官方的架構(gòu)原則，mgr至少要有兩個(gè)節(jié)點(diǎn)來(lái)進(jìn)行工作。

cd /etc/ceph
ceph-deploy mgr create node01 node02

ceph -s

解決 HEALTH_WARN 問(wèn)題：mons are allowing insecure global_id reclaim問(wèn)題：
禁用不安全模式：

ceph config set mon auth_allow_insecure_global_id_reclaim false

擴(kuò)容 mgr 節(jié)點(diǎn)

ceph-deploy mgr create <節(jié)點(diǎn)名稱>

9、開(kāi)啟監(jiān)控模塊

在 ceph-mgr Active節(jié)點(diǎn)執(zhí)行命令開(kāi)啟

ceph -s | grep mgr

yum install -y ceph-mgr-dashboard
cd /etc/ceph
ceph mgr module ls | grep dashboard

開(kāi)啟 dashboard 模塊

ceph mgr module enable dashboard --force

禁用 dashboard 的 ssl 功能

ceph config set mgr mgr/dashboard/ssl false

配置 dashboard 監(jiān)聽(tīng)的地址和端口

ceph config set mgr mgr/dashboard/server_addr 0.0.0.0
ceph config set mgr mgr/dashboard/server_port 8000

重啟 dashboard

ceph mgr module disable dashboard
ceph mgr module enable dashboard --force

確認(rèn)訪問(wèn) dashboard 的 url

ceph mgr services

設(shè)置 dashboard 賬戶以及密碼
?

echo "abc123" > dashboard_passwd.txt
ceph dashboard set-login-credentials admin -i dashboard_passwd.txt

? 或

ceph dashboard ac-user-create admin administrator -i dashboard_passwd.txt

瀏覽器訪問(wèn)：http://192.168.110.100:8000 ，賬號(hào)密碼為 admin/abc123

十、資源池 Pool 管理

上面我們已經(jīng)完成了 Ceph 集群的部署，但是我們?nèi)绾蜗?Ceph 中存儲(chǔ)數(shù)據(jù)呢？首先我們需要在 Ceph 中定義一個(gè) Pool 資源池。Pool 是 Ceph 中存儲(chǔ) Object 對(duì)象抽象概念。我們可以將其理解為 Ceph 存儲(chǔ)上劃分的邏輯分區(qū)，Pool 由多個(gè) PG 組成；而 PG 通過(guò) CRUSH 算法映射到不同的 OSD 上；同時(shí) Pool 可以設(shè)置副本 size 大小，默認(rèn)副本數(shù)量為 3。

Ceph 客戶端向 monitor 請(qǐng)求集群的狀態(tài)，并向 Pool 中寫(xiě)入數(shù)據(jù)，數(shù)據(jù)根據(jù) PGs 的數(shù)量，通過(guò) CRUSH 算法將其映射到不同的 OSD 節(jié)點(diǎn)上，實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)。 這里我們可以把 Pool 理解為存儲(chǔ) Object 數(shù)據(jù)的邏輯單元；當(dāng)然，當(dāng)前集群沒(méi)有資源池，因此需要進(jìn)行定義。

#創(chuàng)建一個(gè) Pool 資源池，其名字為 mypool，PGs 數(shù)量設(shè)置為 64，設(shè)置 PGs 的同時(shí)還需要設(shè)置 PGP（通常PGs和PGP的值是相同的）：
PG (Placement Group)，pg 是一個(gè)虛擬的概念，用于存放 object，PGP(Placement Group for Placement purpose)，相當(dāng)于是 pg 存放的一種 osd 排列組合

注：pg數(shù)是可以按照官網(wǎng)上的計(jì)算公式計(jì)算的

cd /etc/ceph
ceph osd pool create mypool 64 64

查看集群 Pool 信息

ceph osd pool ls ? ?或 ? ?rados lspools
ceph osd lspools

查看資源池副本的數(shù)量

ceph osd pool get mypool size

查看 PG 和 PGP 數(shù)量

ceph osd pool get mypool pg_num
ceph osd pool get mypool pgp_num

修改 pg_num 和 pgp_num 的數(shù)量為 128

ceph osd pool set mypool pg_num 128
ceph osd pool set mypool pgp_num 128

ceph osd pool get mypool pg_num
ceph osd pool get mypool pgp_num

修改 Pool 副本數(shù)量為 2

ceph osd pool set mypool size 2
ceph osd pool get mypool size

修改默認(rèn)副本數(shù)為 2

vim ceph.conf
......
osd_pool_default_size = 2

?ceph-deploy --overwrite-conf config push node01 node02 node03

刪除 Pool 資源池

1）刪除存儲(chǔ)池命令存在數(shù)據(jù)丟失的風(fēng)險(xiǎn)，Ceph 默認(rèn)禁止此類操作，需要管理員先在 ceph.conf 配置文件中開(kāi)啟支持刪除存儲(chǔ)池的操作

vim ceph.conf
......
[mon]
mon allow pool delete = true

2）推送 ceph.conf 配置文件給所有 mon 節(jié)點(diǎn)

ceph-deploy --overwrite-conf config push node01 node02 node03

?3）所有 mon 節(jié)點(diǎn)重啟 ceph-mon 服務(wù)

systemctl restart ceph-mon.target

4）執(zhí)行刪除 Pool 命令

ceph osd pool rm pool01 pool01 --yes-i-really-really-mean-it