目錄

一、存儲基礎(chǔ)

1.1?單機存儲設(shè)備

1.2?單機存儲的問題

1.3?商業(yè)存儲解決方案

1.4?分布式存儲（軟件定義的存儲 SDS）

1.5?分布式存儲的類型

二、Ceph 簡介

三、Ceph 優(yōu)勢

四、Ceph 架構(gòu)

五、Ceph 核心組件

#Pool中數(shù)據(jù)保存方式支持兩種類型：

#Pool、PG 和 OSD 的關(guān)系：

六、OSD 存儲引擎

七、Ceph 數(shù)據(jù)的存儲過程

八、Ceph 版本發(fā)行生命周期

九、Ceph 集群部署

十、基于 ceph-deploy 部署 Ceph 集群

10.1 環(huán)境準(zhǔn)備

Ceph 生產(chǎn)環(huán)境推薦

Ceph 環(huán)境規(guī)劃

關(guān)閉 selinux 與防火墻

根據(jù)規(guī)劃設(shè)置主機名

配置 hosts 解析

安裝常用軟件和依賴包

在 admin 管理節(jié)點配置 ssh 免密登錄所有節(jié)點

配置時間同步

配置 Ceph yum源

執(zhí)行完上面所有的操作之后重啟所有主機

10.2?部署 Ceph 集群

為所有節(jié)點都創(chuàng)建一個 Ceph 工作目錄

安裝 ceph-deploy 部署工具

在管理節(jié)點為其它節(jié)點安裝 Ceph 軟件包

生成初始配置

在管理節(jié)點初始化 mon 節(jié)點

部署能夠管理 Ceph 集群的節(jié)點

部署 osd 存儲節(jié)點

部署 mgr 節(jié)點

開啟監(jiān)控模塊

---

一、存儲基礎(chǔ)

1.1?單機存儲設(shè)備

• DAS（直接附加存儲，是直接接到計算機的主板總線上去的存儲）

IDE、SATA、SCSI、SAS、USB 接口的磁盤
????????所謂接口就是一種存儲設(shè)備驅(qū)動下的磁盤設(shè)備，提供塊級別的存儲

• NAS（網(wǎng)絡(luò)附加存儲，是通過網(wǎng)絡(luò)附加到當(dāng)前主機文件系統(tǒng)之上的存儲）

NFS、CIFS、FTP
????????文件系統(tǒng)級別的存儲，本身就是一個做好的文件系統(tǒng)，通過nfs接口在用戶空間輸出后，客戶端基于內(nèi)核模塊與遠(yuǎn)程主機進(jìn)行網(wǎng)絡(luò)通信，把它轉(zhuǎn)為好像本地文件系統(tǒng)一樣來使用，這種存儲服務(wù)是沒辦法對它再一次格式化創(chuàng)建文件系統(tǒng)塊的

• SAN（存儲區(qū)域網(wǎng)絡(luò)）

????????SCSI協(xié)議（只是用來傳輸數(shù)據(jù)的存取操作，物理層使用SCSI線纜來傳輸）、FCSAN（物理層使用光纖來傳輸）、iSCSI（物理層使用以太網(wǎng)來傳輸）
????????也是一種網(wǎng)絡(luò)存儲，但不同之處在于SAN提供給客戶端主機使用的接口是塊級別的存儲

1.2?單機存儲的問題

• 儲處理能力不足

????????傳統(tǒng)的IDE的IO值是100次/秒，SATA固態(tài)磁盤500次/秒，固態(tài)硬盤達(dá)到2000-4000次/秒。即使磁盤的IO能力再大數(shù)十倍，也不夠抗住網(wǎng)站訪問高峰期數(shù)十萬、數(shù)百萬甚至上億用戶的同時訪問，這同時還要受到主機網(wǎng)絡(luò)IO能力的限制。

• 存儲空間能力不足

????????單塊磁盤的容量再大，也無法滿足用戶的正常訪問所需的數(shù)據(jù)容量限制。

• 單點故障問題

????????單機存儲數(shù)據(jù)存在單點故障問題

1.3?商業(yè)存儲解決方案

EMC、NetAPP、IBM、DELL、華為、浪潮

1.4?分布式存儲（軟件定義的存儲 SDS）

Ceph、TFS、FastDFS、MooseFS（MFS）、HDFS、GlusterFS（GFS）
存儲機制會把數(shù)據(jù)分散存儲到多個節(jié)點上，具有高擴展性、高性能、高可用性等優(yōu)點。

1.5?分布式存儲的類型

• 塊存儲（例如硬盤，一般是一個存儲被一個服務(wù)器掛載使用，適用于容器或虛擬機存儲卷分配、日志存儲、文件存儲）

????????就是一個裸設(shè)備，用于提供沒有被組織過的存儲空間，底層以分塊的方式來存儲數(shù)據(jù)

• 文件存儲（例如NFS，解決塊存儲無法共享問題，可以一個存儲被多個服務(wù)器同時掛載，適用于目錄結(jié)構(gòu)的存儲、日志存儲）

????????是一種數(shù)據(jù)的組織存放接口，一般是建立在塊級別的存儲結(jié)構(gòu)之上，以文件形式來存儲數(shù)據(jù)，而文件的元數(shù)據(jù)和實際數(shù)據(jù)是分開存儲的

• 對象存儲（例如OSS，一個存儲可以被多服務(wù)同時訪問，具備塊存儲的高速讀寫能力，也具備文件存儲共享的特性，適用圖片存儲、視頻存儲）

????????基于API接口提供的文件存儲，每一個文件都是一個對象，且文件大小各不相同的，文件的元數(shù)據(jù)和實際數(shù)據(jù)是存放在一起的

二、Ceph 簡介

Ceph使用C++語言開發(fā)，是一個開放、自我修復(fù)和自我管理的開源分布式存儲系統(tǒng)。具有高擴展性、高性能、高可靠性的優(yōu)點。

Ceph目前已得到眾多云計算廠商的支持并被廣泛應(yīng)用。RedHat及OpenStack，Kubernetes都可與Ceph整合以支持虛擬機鏡像的后端存儲。
粗略估計，我國70%—80%的云平臺都將Ceph作為底層的存儲平臺，由此可見Ceph儼然成為了開源云平臺的標(biāo)配。目前國內(nèi)使用Ceph搭建分布式存儲系統(tǒng)較為成功的企業(yè)有華為、阿里、中興、華三、浪潮、中國移動、網(wǎng)易、樂視、360、星辰天合存儲、杉巖數(shù)據(jù)等。?

三、Ceph 優(yōu)勢

• 高擴展性：去中心化，支持使用普通X86服務(wù)器，支持上千個存儲節(jié)點的規(guī)模，支持TB到EB級的擴展。
• 高可靠性：沒有單點故障，多數(shù)據(jù)副本，自動管理，自動修復(fù)。
• 高性能：摒棄了傳統(tǒng)的集中式存儲元數(shù)據(jù)尋址的方案，采用 CRUSH 算法，數(shù)據(jù)分布均衡，并行度高。
• 功能強大：Ceph是個大一統(tǒng)的存儲系統(tǒng)，集塊存儲接口（RBD）、文件存儲接口（CephFS）、對象存儲接口（RadosGW）于一身，因而適用于不同的應(yīng)用場景。

四、Ceph 架構(gòu)

自下向上，可以將Ceph系統(tǒng)分為四個層次:

• RADOS 基礎(chǔ)存儲系統(tǒng)（Reliab1e，Autonomic，Distributed object store，即可靠的、自動化的、分布式的對象存儲）

????????RADOS是Ceph最底層的功能模塊，是一個無限可擴容的對象存儲服務(wù)，能將文件拆解成無數(shù)個對象（碎片）存放在硬盤中，大大提高了數(shù)據(jù)的穩(wěn)定性。它主要由OSD和Monitor兩個組件組成，OSD和Monitor都可以部署在多臺服務(wù)器中，這就是ceph分布式的由來，高擴展性的由來。

• LIBRADOS 基礎(chǔ)庫

????????Librados提供了與RADOS進(jìn)行交互的方式，并向上層應(yīng)用提供Ceph服務(wù)的API接口，因此上層的RBD、RGW和CephFS都是通過Librados訪問的，目前提供PHP、Ruby、Java、Python、Go、C和C++支持，以便直接基于RADOS（而不是整個Ceph）進(jìn)行客戶端應(yīng)用開發(fā)。

• 高層應(yīng)用接口：包括了三個部分

1）對象存儲接口 RGW（RADOS Gateway）
網(wǎng)關(guān)接口，基于Librados開發(fā)的對象存儲系統(tǒng)，提供S3和Swift兼容的RESTful API接口。

2）塊存儲接口 RBD（Reliable Block Device）
基于Librados提供塊設(shè)備接口，主要用于Host/VM。

3）文件存儲接口 CephFS（Ceph File System）
Ceph文件系統(tǒng)，提供了一個符合POSIX標(biāo)準(zhǔn)的文件系統(tǒng)，它使用Ceph存儲集群在文件系統(tǒng)上存儲用戶數(shù)據(jù)?；贚ibrados提供的分布式文件系統(tǒng)接口。

• 應(yīng)用層：基于高層接口或者基礎(chǔ)庫Librados開發(fā)出來的各種APP，或者Host、VM等諸多客戶端

五、Ceph 核心組件

Ceph是一個對象式存儲系統(tǒng)，它把每一個待管理的數(shù)據(jù)流（如文件等數(shù)據(jù)）切分為一到多個固定大小（默認(rèn)4兆）的對象數(shù)據(jù)（Object），并以其為原子單元（原子是構(gòu)成元素的最小單元）完成數(shù)據(jù)的讀寫。

• OSD（Object Storage Daemon，守護(hù)進(jìn)程 ceph-osd）

????????是負(fù)責(zé)物理存儲的進(jìn)程，一般配置成和磁盤一一對應(yīng)，一塊磁盤啟動一個OSD進(jìn)程。主要功能是存儲數(shù)據(jù)、復(fù)制數(shù)據(jù)、平衡數(shù)據(jù)、恢復(fù)數(shù)據(jù)，以及與其它OSD間進(jìn)行心跳檢查，負(fù)責(zé)響應(yīng)客戶端請求返回具體數(shù)據(jù)的進(jìn)程等。通常至少需要3個OSD來實現(xiàn)冗余和高可用性。

• PG（Placement Group 歸置組）

????????PG 是一個虛擬的概念而已，物理上不真實存在。它在數(shù)據(jù)尋址時類似于數(shù)據(jù)庫中的索引：Ceph 先將每個對象數(shù)據(jù)通過HASH算法固定映射到一個 PG 中，然后將 PG 通過 CRUSH 算法映射到 OSD。

• Pool

Pool 是存儲對象的邏輯分區(qū)，它起到 namespace 的作用。每個 Pool 包含一定數(shù)量（可配置）的 PG。Pool 可以做故障隔離域，根據(jù)不同的用戶場景統(tǒng)一進(jìn)行隔離。

#Pool中數(shù)據(jù)保存方式支持兩種類型：

• 多副本（replicated）：類似 raid1，一個對象數(shù)據(jù)默認(rèn)保存 3 個副本，放在不同的 OSD
• 糾刪碼（Erasure Code）：類似 raid5，對 CPU 消耗稍大，但是節(jié)約磁盤空間，對象數(shù)據(jù)保存只有 1 個副本。由于Ceph部分功能不支持糾刪碼池，此類型存儲池使用不多

#Pool、PG 和 OSD 的關(guān)系：

一個Pool里有很多個PG；一個PG里包含一堆對象，一個對象只能屬于一個PG；PG有主從之分，一個PG分布在不同的OSD上（針對多副本類型）

• Monitor（守護(hù)進(jìn)程 ceph-mon）

????????用來保存OSD的元數(shù)據(jù)。負(fù)責(zé)維護(hù)集群狀態(tài)的映射視圖（Cluster Map：OSD Map、Monitor Map、PG Map 和 CRUSH Map），維護(hù)展示集群狀態(tài)的各種圖表， 管理集群客戶端認(rèn)證與授權(quán)。一個Ceph集群通常至少需要 3 或 5 個（奇數(shù)個）Monitor 節(jié)點才能實現(xiàn)冗余和高可用性，它們通過 Paxos 協(xié)議實現(xiàn)節(jié)點間的同步數(shù)據(jù)。

• Manager（守護(hù)進(jìn)程 ceph-mgr）

????????負(fù)責(zé)跟蹤運行時指標(biāo)和 Ceph 集群的當(dāng)前狀態(tài)，包括存儲利用率、當(dāng)前性能指標(biāo)和系統(tǒng)負(fù)載。為外部監(jiān)視和管理系統(tǒng)提供額外的監(jiān)視和接口，例如 zabbix、prometheus、 cephmetrics 等。一個 Ceph 集群通常至少需要 2 個 mgr 節(jié)點實現(xiàn)高可用性，基于 raft 協(xié)議實現(xiàn)節(jié)點間的信息同步。

• MDS（Metadata Server，守護(hù)進(jìn)程 ceph-mds）

????????是 CephFS 服務(wù)依賴的元數(shù)據(jù)服務(wù)。負(fù)責(zé)保存文件系統(tǒng)的元數(shù)據(jù)，管理目錄結(jié)構(gòu)。對象存儲和塊設(shè)備存儲不需要元數(shù)據(jù)服務(wù)；如果不使用 CephFS 可以不安裝。

六、OSD 存儲引擎

????????OSD 有兩種方式管理它們存儲的數(shù)據(jù)。在 Luminous 12.2.z 及以后的發(fā)行版中，默認(rèn)（也是推薦的）后端是 BlueStore。在 Luminous 發(fā)布之前， 默認(rèn)是 FileStore， 也是唯一的選項。

• Filestore

????????FileStore是在Ceph中存儲對象的一個遺留方法。它依賴于一個標(biāo)準(zhǔn)文件系統(tǒng)（只能是XFS)，并結(jié)合一個鍵/值數(shù)據(jù)庫（傳統(tǒng)上是LevelDB，現(xiàn)在BlueStore是RocksDB），用于保存和管理元數(shù)據(jù)。

????????FileStore經(jīng)過了良好的測試，在生產(chǎn)中得到了廣泛的應(yīng)用。然而，由于它的總體設(shè)計和對傳統(tǒng)文件系統(tǒng)的依賴，使得它在性能上存在許多不足。

• Bluestore

????????從 Ceph 12.2.0（Luminous） 版本開始的。在 Luminous 版本中，BlueStore 被引入作為一種新的、高性能的 OSD 存儲引擎，以替代舊的 FileStore 引擎。

????????在 Ceph 中，BlueStore 可以提供更快的響應(yīng)時間和更高的數(shù)據(jù)吞吐量，同時也具有更好的可靠性和穩(wěn)定性。相比之下，舊的 FileStore 存儲引擎通常需要更多的 CPU 和內(nèi)存資源，對 IO 延遲的敏感度也較高。

????????FileStore 將對象存儲為塊設(shè)備基礎(chǔ)上的文件系統(tǒng)（通常是 XFS）中的文件。

????????BlueStore 將對象直接存儲在原始塊設(shè)備上，免除了對文件系統(tǒng)層的需要，提高了讀寫操作速度，通過直接操作底層塊設(shè)備來管理數(shù)據(jù)，而不是傳統(tǒng)的文件系統(tǒng)。

????????這種方法提供了更好的性能和可靠性，因為可以將數(shù)據(jù)劃分為較小的塊并使用校驗和來檢測錯誤。此外，BlueStore可以直接與Solid State Drive（SSD）交互，并利用其快速讀寫速度。

????????BlueStore還具有可擴展性，可以處理數(shù)百萬個物理盤和千億個對象。它實現(xiàn)了動態(tài)負(fù)載平衡和自動恢復(fù)機制，以確保高可用性和數(shù)據(jù)可靠性。

七、Ceph 數(shù)據(jù)的存儲過程

1）客戶端從 mon 獲取最新的 Cluster Map

2）在 Ceph 中，一切皆對象。Ceph 存儲的數(shù)據(jù)都會被切分成為一到多個固定大小的對象（Object）。Object size 大小可以由管理員調(diào)整，通常為 2M 或 4M。
每個對象都會有一個唯一的 OID，由 ino 與 ono 組成：

• ino ：即是文件的 FileID，用于在全局唯一標(biāo)識每一個文件
• ono ：則是分片的編號

比如：一個文件 FileID 為 A，它被切成了兩個對象，一個對象編號0，另一個編號1，那么這兩個文件的 oid 則為 A0 與 A1。
OID 的好處是可以唯一標(biāo)示每個不同的對象，并且存儲了對象與文件的從屬關(guān)系。由于 Ceph 的所有數(shù)據(jù)都虛擬成了整齊劃一的對象，所以在讀寫時效率都會比較高。

3）通過對 OID 使用 HASH 算法得到一個16進(jìn)制的特征碼，用特征碼與 Pool 中的 PG 總數(shù)取余，得到的序號則是 PGID 。
即 Pool_ID + HASH(OID) % PG_NUM 得到 PGID

4）PG 會根據(jù)設(shè)置的副本數(shù)量進(jìn)行復(fù)制，通過對 PGID 使用 CRUSH 算法算出 PG 中目標(biāo)主和次 OSD 的 ID，存儲到不同的 OSD 節(jié)點上（其實是把 PG 中的所有對象存儲到 OSD 上）。
即通過 CRUSH(PGID) 得到將 PG 中的數(shù)據(jù)存儲到各個 OSD 組中
CRUSH 是 Ceph 使用的數(shù)據(jù)分布算法，類似一致性哈希，讓數(shù)據(jù)分配到預(yù)期的地方。

八、Ceph 版本發(fā)行生命周期

????????Ceph從Nautilus版本（14.2.0）開始，每年都會有一個新的穩(wěn)定版發(fā)行，預(yù)計是每年的3月份發(fā)布，每年的新版本都會起一個新的名稱（例如，“Mimic”）和一個主版本號（例如，13代表Mimic，因為“M”是字母表的第13個字母）。

????????版本號的格式為 x.y.z，x 表示發(fā)布周期（例如，13 代表 Mimic，17 代表 Quincy），y 表示發(fā)布版本類型，即

• x.0.z ：y等于 0，表示開發(fā)版本
• x.1.z ：y等于 1，表示發(fā)布候選版本（用于測試集群）
• x.2.z ：y等于 2，表示穩(wěn)定/錯誤修復(fù)版本（針對用戶）

九、Ceph 集群部署

????????目前 Ceph 官方提供很多種部署 Ceph 集群的方法，常用的分別是 ceph-deploy，cephadm 和 二進(jìn)制：

• ceph-deploy ：一個集群自動化部署工具，使用較久，成熟穩(wěn)定，被很多自動化工具所集成，可用于生產(chǎn)部署。
• cephadm ：從 Octopus 和較新的版本版本后使用 cephadm 來部署 ceph 集群，使用容器和 systemd 安裝和管理 Ceph 集群。目前不建議用于生產(chǎn)環(huán)境。
• 二進(jìn)制：手動部署，一步步部署 Ceph 集群，支持較多定制化和了解部署細(xì)節(jié)，安裝難度較大。

十、基于 ceph-deploy 部署 Ceph 集群

10.1 環(huán)境準(zhǔn)備

Ceph 生產(chǎn)環(huán)境推薦

1、存儲集群全采用萬兆網(wǎng)絡(luò)
2、集群網(wǎng)絡(luò)（cluster-network，用于集群內(nèi)部通訊）與公共網(wǎng)絡(luò)（public-network，用于外部訪問Ceph集群）分離
3、mon、mds 與 osd 分離部署在不同主機上（測試環(huán)境中可以讓一臺主機節(jié)點運行多個組件）
4、OSD 使用 SATA 亦可
5、根據(jù)容量規(guī)劃集群
6、至強E5 2620 V3或以上 CPU，64GB或更高內(nèi)存
7、集群主機分散部署，避免機柜的電源或者網(wǎng)絡(luò)故障

Ceph 環(huán)境規(guī)劃

主機名	Public網(wǎng)絡(luò)	Cluster網(wǎng)絡(luò)	角色
admin	192.168.23.60		admin（管理節(jié)點負(fù)責(zé)集群整體部署）、client
node01	192.168.23.70	172.16.23.70	mon、mgr、osd（/dev/sdb、/dev/sdc、/dev/sdd）
node02	192.168.23.80	172.16.23.80? ??	mon、mgr、osd（/dev/sdb、/dev/sdc、/dev/sdd）
node03	192.168.23.90	172.16.23.90	mon、osd（/dev/sdb、/dev/sdc、/dev/sdd）
client	192.168.23.50		client

關(guān)閉 selinux 與防火墻

systemctl disable --now firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

根據(jù)規(guī)劃設(shè)置主機名

hostnamectl set-hostname admin
hostnamectl set-hostname node01
hostnamectl set-hostname node02
hostnamectl set-hostname node03
hostnamectl set-hostname client

配置 hosts 解析

cat >> /etc/hosts << EOF
192.168.23.60 admin
192.168.23.70 node01
192.168.23.80 node02
192.168.23.90 node03
192.168.23.40 client
EOF

安裝常用軟件和依賴包

yum -y install epel-release
yum -y install yum-plugin-priorities yum-utils ntpdate python-setuptools python-pip gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel zip unzip ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5-devel libidn libidn-devel openssl openssh openssl-devel nss_ldap openldap openldap-devel openldap-clients openldap-servers libxslt-devel libevent-devel ntp libtool-ltdl bison libtool vim-enhanced python wget lsof iptraf strace lrzsz kernel-devel kernel-headers pam-devel tcl tk cmake ncurses-devel bison setuptool popt-devel net-snmp screen perl-devel pcre-devel net-snmp screen tcpdump rsync sysstat man iptables sudo libconfig git bind-utils tmux elinks numactl iftop bwm-ng net-tools expect snappy leveldb gdisk python-argparse gperftools-libs conntrack ipset jq libseccomp socat chrony sshpass

在 admin 管理節(jié)點配置 ssh 免密登錄所有節(jié)點

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
sshpass -p 'root' ssh-copy-id -o StrictHostKeyChecking=no root@admin
sshpass -p 'root' ssh-copy-id -o StrictHostKeyChecking=no root@node01
sshpass -p 'root' ssh-copy-id -o StrictHostKeyChecking=no root@node02
sshpass -p 'root' ssh-copy-id -o StrictHostKeyChecking=no root@node03

?

配置時間同步

systemctl enable --now chronyd
timedatectl set-ntp true					#開啟 NTP
timedatectl set-timezone Asia/Shanghai		     #設(shè)置時區(qū)
chronyc -a makestep						#強制同步下系統(tǒng)時鐘
timedatectl status							#查看時間同步狀態(tài)
chronyc sources -v							#查看 ntp 源服務(wù)器信息
timedatectl set-local-rtc 0					#將當(dāng)前的UTC時間寫入硬件時鐘#重啟依賴于系統(tǒng)時間的服務(wù)
systemctl restart rsyslog 
systemctl restart crond#關(guān)閉無關(guān)服務(wù)
systemctl disable --now postfix

配置 Ceph yum源

wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificaterpm -ivh ceph-release-1-1.el7.noarch.rpm --force

執(zhí)行完上面所有的操作之后重啟所有主機

sync
reboot

10.2?部署 Ceph 集群

為所有節(jié)點都創(chuàng)建一個 Ceph 工作目錄

mkdir -p /etc/ceph

安裝 ceph-deploy 部署工具

cd /etc/ceph
yum install -y ceph-deployceph-deploy --version

在管理節(jié)點為其它節(jié)點安裝 Ceph 軟件包

#ceph-deploy 2.0.1 默認(rèn)部署的是 mimic 版的 Ceph，若想安裝其他版本的 Ceph，可以用 --release 手動指定版本

cd /etc/ceph
ceph-deploy install --release nautilus node0{1..3} admin

?#ceph-deploy install 本質(zhì)就是在執(zhí)行下面的命令

yum clean all
yum -y install epel-release
yum -y install yum-plugin-priorities
yum -y install ceph-release ceph ceph-radosgw

?#也可采用手動安裝 Ceph 包方式，在其它節(jié)點上執(zhí)行下面的命令將 Ceph 的安裝包都部署上

sed -i 's#download.ceph.com#mirrors.tuna.tsinghua.edu.cn/ceph#' /etc/yum.repos.d/ceph.repo
yum install -y ceph-mon ceph-radosgw ceph-mds ceph-mgr ceph-osd ceph-common ceph

生成初始配置

#在管理節(jié)點運行下述命令，告訴 ceph-deploy 哪些是 mon 監(jiān)控節(jié)點

cd /etc/ceph
ceph-deploy new --public-network 192.168.80.0/24 --cluster-network 192.168.100.0/24 node01 node02 node03

?#命令執(zhí)行成功后會在 /etc/ceph 下生成配置文件

ls /etc/ceph
ceph.conf					#ceph的配置文件
ceph-deploy-ceph.log		#monitor的日志
ceph.mon.keyring			#monitor的密鑰環(huán)文件

在管理節(jié)點初始化 mon 節(jié)點

cd /etc/ceph
ceph-deploy mon create node01 node02 node03			#創(chuàng)建 mon 節(jié)點，由于 monitor 使用 Paxos 算法，其高可用集群節(jié)點數(shù)量要求為大于等于 3 的奇數(shù)臺ceph-deploy --overwrite-conf mon create-initial		#配置初始化 mon 節(jié)點，并向所有節(jié)點同步配置# --overwrite-conf 參數(shù)用于表示強制覆蓋配置文件ceph-deploy gatherkeys node01						#可選操作，向 node01 節(jié)點收集所有密鑰

#命令執(zhí)行成功后會在 /etc/ceph 下生成配置文件?

ls /etc/ceph
ceph.bootstrap-mds.keyring			#引導(dǎo)啟動 mds 的密鑰文件
ceph.bootstrap-mgr.keyring			#引導(dǎo)啟動 mgr 的密鑰文件
ceph.bootstrap-osd.keyring			#引導(dǎo)啟動 osd 的密鑰文件
ceph.bootstrap-rgw.keyring			#引導(dǎo)啟動 rgw 的密鑰文件
ceph.client.admin.keyring			#ceph客戶端和管理端通信的認(rèn)證密鑰，擁有ceph集群的所有權(quán)限
ceph.conf
ceph-deploy-ceph.log
ceph.mon.keyring

?#在 mon 節(jié)點上查看自動開啟的 mon 進(jìn)程

ps aux | grep ceph
root ? ? ? ?1823 ?0.0 ?0.2 189264 ?9216 ? ? ? ? ?Ss ? 19:46 ? 0:00 /usr/bin/python2.7 /usr/bin/ceph-crash
ceph ? ? ? ?3228 ?0.0 ?0.8 501244 33420 ? ? ? ? ?Ssl ?21:08 ? 0:00 /usr/bin/ceph-mon -f --cluster ceph --id node03 --setuser ceph --setgroupceph
root ? ? ? ?3578 ?0.0 ?0.0 112824 ? 988 pts/1 ? ?R+ ? 21:24 ? 0:00 grep --color=auto ceph

在管理節(jié)點查看 Ceph 集群狀態(tài)

cd /etc/ceph
ceph -s

?#查看 mon 集群選舉的情況

ceph quorum_status --format json-pretty | grep leader
"quorum_leader_name": "node01",

?#擴容 mon 節(jié)點

ceph-deploy mon add <節(jié)點名稱>

部署能夠管理 Ceph 集群的節(jié)點

#可實現(xiàn)在各個節(jié)點執(zhí)行 ceph 命令管理集群

cd /etc/ceph
ceph-deploy --overwrite-conf config push node01 node02 node03		#向所有 mon 節(jié)點同步配置，確保所有 mon 節(jié)點上的 ceph.conf 內(nèi)容必須一致ceph-deploy admin node01 node02 node03			#本質(zhì)就是把 ceph.client.admin.keyring 集群認(rèn)證文件拷貝到各個節(jié)點

#在 mon 節(jié)點上查看

ls /etc/ceph
ceph.client.admin.keyring  ceph.conf  rbdmap  tmpr8tzyccd /etc/ceph
ceph -s

部署 osd 存儲節(jié)點

#主機添加完硬盤后不要分區(qū)，直接使用

lsblk 

如果是利舊的硬盤，則需要先擦凈（刪除分區(qū)表）磁盤（可選，無數(shù)據(jù)的新硬盤可不做）

cd /etc/ceph
ceph-deploy disk zap node01 /dev/sdb
ceph-deploy disk zap node02 /dev/sdb
ceph-deploy disk zap node03 /dev/sdb

?添加 osd 節(jié)點

ceph-deploy --overwrite-conf osd create node01 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdb

ceph osd stat
ceph osd tree
rados df
ssh root@node01 systemctl status ceph-osd@0
ssh root@node02 systemctl status ceph-osd@1
ssh root@node03 systemctl status ceph-osd@2

?ceph osd status ? ?#查看 osd 狀態(tài)，需部署 mgr 后才能執(zhí)行

ceph osd df ? ?#查看 osd 容量，需部署 mgr 后才能執(zhí)行

#擴容 osd 節(jié)點

cd /etc/ceph
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdd

?添加 OSD 中會涉及到 PG 的遷移，由于此時集群并沒有數(shù)據(jù)，因此 health 的狀態(tài)很快就變成 OK，如果在生產(chǎn)環(huán)境中添加節(jié)點則會涉及到大量的數(shù)據(jù)的遷移。

部署 mgr 節(jié)點

#ceph-mgr守護(hù)進(jìn)程以Active/Standby模式運行，可確保在Active節(jié)點或其ceph-mgr守護(hù)進(jìn)程故障時，其中的一個Standby實例可以在不中斷服務(wù)的情況下接管其任務(wù)。根據(jù)官方的架構(gòu)原則，mgr至少要有兩個節(jié)點來進(jìn)行工作。

cd /etc/ceph
ceph-deploy mgr create node01 node02ceph -s

#解決 HEALTH_WARN 問題：mons are allowing insecure global_id reclaim問題：

禁用不安全模式：ceph config set mon auth_allow_insecure_global_id_reclaim false

#擴容 mgr 節(jié)點

ceph-deploy mgr create <節(jié)點名稱>

開啟監(jiān)控模塊

#在 ceph-mgr Active節(jié)點執(zhí)行命令開啟

ceph -s | grep mgryum install -y ceph-mgr-dashboardcd /etc/cephceph mgr module ls | grep dashboard

#開啟 dashboard 模塊

ceph mgr module enable dashboard --force

#禁用 dashboard 的 ssl 功能

ceph config set mgr mgr/dashboard/ssl false

#配置 dashboard 監(jiān)聽的地址和端口

ceph config set mgr mgr/dashboard/server_addr 0.0.0.0
ceph config set mgr mgr/dashboard/server_port 8000

#重啟 dashboard

ceph mgr module disable dashboard
ceph mgr module enable dashboard --force

#確認(rèn)訪問 dashboard 的 url

ceph mgr services

?

#設(shè)置 dashboard 賬戶以及密碼

echo "12345678" > dashboard_passwd.txt
ceph dashboard set-login-credentials admin -i dashboard_passwd.txt或
ceph dashboard ac-user-create admin administrator -i dashboard_passwd.txt瀏覽器訪問：http://192.168.80.11:8000 ，賬號密碼為 admin/12345678