目錄

單點(diǎn)問題

主從模式

解析主從模式

配置redis主從模式

info replication命令查看復(fù)制相關(guān)的狀態(tài)

斷開復(fù)制關(guān)系

安全性

只讀

傳輸延遲

拓?fù)浣Y(jié)構(gòu)

數(shù)據(jù)同步psync

replicationid

offset

psync運(yùn)行流程

全量復(fù)制流程

無硬盤模式

部分復(fù)制流程

積壓緩沖區(qū)

實(shí)時(shí)復(fù)制

主從復(fù)制的弊端

主節(jié)點(diǎn)無法正常啟動的原因

---

單點(diǎn)問題

如果某個(gè)服務(wù)器程序,只有一個(gè)節(jié)點(diǎn)(只有一個(gè)物理服務(wù)器來部署這個(gè)服務(wù)器程序),那么會引發(fā)兩個(gè)嚴(yán)重的問題:可用性問題:如果這個(gè)服務(wù)器宕機(jī),意味著整個(gè)服務(wù)就終端了;性能問題:一臺服務(wù)器往往支持的并發(fā)量和性能是非常有限的.

引入分布式系統(tǒng),主要就是為了解決上述的單點(diǎn)問題.

在分布式系統(tǒng)中,往往希望有多個(gè)服務(wù)器來部署redis服務(wù),從而構(gòu)成一個(gè)redis集群,此時(shí)就可以讓這個(gè)集群給整個(gè)分布式系統(tǒng)中的其他服務(wù),提供更加穩(wěn)定和高效的數(shù)據(jù)存儲功能.

在分布式系統(tǒng)中,redis的部署方式主要有:主從模式,主從+哨兵模式和集群模式.

---

主從模式

解析主從模式

在若干個(gè)redis節(jié)點(diǎn)中,有的是主節(jié)點(diǎn)有的是從節(jié)點(diǎn).

假設(shè)現(xiàn)在有三個(gè)物理服務(wù)器(稱為是三個(gè)節(jié)點(diǎn))分別部署了一個(gè)redis-server進(jìn)程,此時(shí)就可以把其中的一個(gè)節(jié)點(diǎn)作為主節(jié)點(diǎn),另外的兩個(gè)節(jié)點(diǎn)作為從節(jié)點(diǎn).

從節(jié)點(diǎn)就要聽取主節(jié)點(diǎn)的(從節(jié)點(diǎn)上的數(shù)據(jù)跟隨主節(jié)點(diǎn)變化,從節(jié)點(diǎn)的數(shù)據(jù)要和主節(jié)點(diǎn)上的數(shù)據(jù)保持一致).

本來,在主節(jié)點(diǎn)上保存了一堆數(shù)據(jù),引入從節(jié)點(diǎn)之后,就要把主節(jié)點(diǎn)上的數(shù)據(jù),復(fù)制出來,放到從節(jié)點(diǎn)上,后續(xù)主節(jié)點(diǎn)上對于數(shù)據(jù)有任何的修改,都會把這樣的修改給同步到從節(jié)點(diǎn)上.

所以,從節(jié)點(diǎn)就相當(dāng)于是主節(jié)點(diǎn)的副本.

需要注意的是,在redis的主從模式中,從節(jié)點(diǎn)上的數(shù)據(jù),是不允許修改的,從節(jié)點(diǎn)只能進(jìn)行讀取數(shù)據(jù)的操作!!!

之前只是單個(gè)redis服務(wù)節(jié)點(diǎn),此時(shí)這個(gè)機(jī)器掛了,整個(gè)redis就掛了,但當(dāng)我們引入主從模式之后,整個(gè)系統(tǒng)的可用性就大大提高了.因?yàn)樯鲜龅闹鲝慕Y(jié)構(gòu),不太可能出現(xiàn)這些redis機(jī)器同時(shí)宕機(jī)的情況.考慮到更高的可用性,我們也可以把這些機(jī)器放到不同的機(jī)房中.(異地多活)

由于從節(jié)點(diǎn)的數(shù)據(jù)都是和主節(jié)點(diǎn)保持一致的,因此客戶從主節(jié)點(diǎn)讀取數(shù)據(jù)和從從節(jié)點(diǎn)讀取數(shù)據(jù)時(shí)沒有區(qū)別的.所以后續(xù)如果有客戶來讀取數(shù)據(jù),就可以從上述節(jié)點(diǎn)中隨機(jī)挑選一個(gè)節(jié)點(diǎn)給這個(gè)客戶端來提供讀取數(shù)據(jù)的服務(wù).這樣,就能大大提高支持的并發(fā)量.

準(zhǔn)確來說,主從模式,主要是針對讀操作進(jìn)行并發(fā)量和可用性的提高,對于寫操作,無論是可用性還是并發(fā)性,都是非常依賴主節(jié)點(diǎn)的,但是主節(jié)點(diǎn)就只有一個(gè).(如果主節(jié)點(diǎn)搞多個(gè),那么數(shù)據(jù)的同步會非常麻煩)

在實(shí)際的業(yè)務(wù)場景中,讀操作是比寫操作要頻繁的多的.

---

配置redis主從模式

配置redis主從模式,首先要啟動多個(gè)redis服務(wù)器,正常來說,每個(gè)redis服務(wù)器是應(yīng)該在一個(gè)單獨(dú)的主機(jī)上(這才是真正的分布式),但是由于當(dāng)前學(xué)習(xí)資源有限,就在同一個(gè)云服務(wù)器上來運(yùn)行多個(gè)redis-server進(jìn)程.

在一臺機(jī)器上運(yùn)行多個(gè)redis-server進(jìn)程時(shí),要保證這些進(jìn)程的端口是不可以沖突的.

指定redis-server的端口有兩種方式,一種是在啟動程序的時(shí)候,通過命令行來指定端口號,--port選項(xiàng);一種是在配置文件中來設(shè)定端口.

我們在這里將創(chuàng)建一個(gè)主節(jié)點(diǎn)和兩個(gè)從節(jié)點(diǎn).主節(jié)點(diǎn)的配置文件不用改變,只需要修改從節(jié)點(diǎn)的配置文件即可.

創(chuàng)建一個(gè)新目錄,將redis的配置文件復(fù)制兩份到此目錄下.

將這兩個(gè)配置文件中的port改為6380和6381,并且設(shè)定damenize為yes(按照后臺進(jìn)程的方式來執(zhí)行).

配置完成之后,通過命令行的形式來啟動這兩個(gè)redis.

---

到這里,當(dāng)前這幾個(gè)節(jié)點(diǎn)并沒有構(gòu)成主從結(jié)構(gòu),而是各自為政,要想真正成為主從結(jié)構(gòu),還需要進(jìn)一步的進(jìn)行配置.

要想配置成為主從結(jié)構(gòu),就需要使用slaveof.

1.在配置?件中加??slaveof?{masterHost}?{masterPort}?隨?Redis?啟動?效。
2.?在?redis-server?啟動命令時(shí)加??--slaveof?{masterHost}?{masterPort}??效。
3.?直接使??redis?命令：slaveof?{masterHost}?{masterPort}??效

這里推薦使用修改配置文件的方式,會一直持久生效.

我們配置以6379為主節(jié)點(diǎn),6380和6381為從節(jié)點(diǎn).

在從節(jié)點(diǎn)的配置文件中加入slaveof配置項(xiàng).

修改完配置文件之后,需要重新啟動才能生效.

我們要使用kill -9的方式來停止這兩個(gè)redis-server,這個(gè)停止方式是和我們直接運(yùn)行redis的時(shí)候的命令是搭配的.

而如果是使用service redis-server start的方式啟動,則必須使用service redis-server stop來進(jìn)行停止.此時(shí)如果使用kill -9的方式停止,這個(gè)redis-server進(jìn)程會自動啟動.

當(dāng)重新啟動后,從節(jié)點(diǎn)和主節(jié)點(diǎn)之間就建立了tcp連接.

主節(jié)點(diǎn)這邊數(shù)據(jù)產(chǎn)生的修改,從節(jié)點(diǎn)就能立即感知到,就是上述這些tcp連接起到的效果.

此時(shí)在從節(jié)點(diǎn)中寫入數(shù)據(jù)就會報(bào)錯(cuò)!!!

---

info replication命令查看復(fù)制相關(guān)的狀態(tài)

主節(jié)點(diǎn)的復(fù)制狀態(tài)信息

從節(jié)點(diǎn)的復(fù)制狀態(tài)信息(6380)

offset就表示從節(jié)點(diǎn)和主節(jié)點(diǎn)之間同步數(shù)據(jù)的進(jìn)度.(從節(jié)點(diǎn)和主節(jié)點(diǎn)之間的數(shù)據(jù)同步不是瞬間完成的,靠網(wǎng)絡(luò)傳輸,所以有延遲)

replid可以認(rèn)為是主節(jié)點(diǎn)的身份標(biāo)識.

---

斷開復(fù)制關(guān)系

slaveof命令不僅可以建立復(fù)制,還可以在從節(jié)點(diǎn)上執(zhí)行slaveof no one命令來斷開與主節(jié)點(diǎn)之間的復(fù)制關(guān)系.

斷開復(fù)制關(guān)系流程包括兩步:

1.斷開與主節(jié)點(diǎn)之間的復(fù)制關(guān)系.

2.從節(jié)點(diǎn)晉升為主節(jié)點(diǎn).

從節(jié)點(diǎn)斷開復(fù)制后并不會拋棄原有的數(shù)據(jù),只是無法在獲取主節(jié)點(diǎn)上的數(shù)據(jù)變化.

通過slaveof命令還可以實(shí)現(xiàn)切換主節(jié)點(diǎn)的操作,,將當(dāng)前從節(jié)點(diǎn)的數(shù)據(jù)源切換到另?個(gè)主節(jié)點(diǎn)。執(zhí)?

slaveof?{newMasterIp}?{newMasterPort}?命令即可。

切主操作的主要流程:

1. 斷開與舊主節(jié)點(diǎn)的復(fù)制關(guān)系.
2. 與新主節(jié)點(diǎn)建立復(fù)制關(guān)系
3. 刪除從節(jié)點(diǎn)上當(dāng)前的所有數(shù)據(jù)
4. 與新主節(jié)點(diǎn)進(jìn)行復(fù)制操作

---

安全性

對于數(shù)據(jù)?較重要的節(jié)點(diǎn)，主節(jié)點(diǎn)會通過設(shè)置?requirepass?參數(shù)進(jìn)?密碼驗(yàn)證，這時(shí)所有的客?
端訪問必須使??auth?命令實(shí)?校驗(yàn)。從節(jié)點(diǎn)與主節(jié)點(diǎn)的復(fù)制連接是通過?個(gè)特殊標(biāo)識的客?端來完成，因此需要配置從節(jié)點(diǎn)的masterauth?參數(shù)與主節(jié)點(diǎn)密碼保持?致，這樣從節(jié)點(diǎn)才可以正確地連接到主節(jié)點(diǎn)并發(fā)起復(fù)制流程。

只讀

默認(rèn)情況下，從節(jié)點(diǎn)使??slave-read-only=yes?配置為只讀模式。由于復(fù)制只能從主節(jié)點(diǎn)到從節(jié)
點(diǎn)，對于從節(jié)點(diǎn)的任何修改主節(jié)點(diǎn)都?法感知，修改從節(jié)點(diǎn)會造成主從數(shù)據(jù)不?致。所以建議線上不要修改從節(jié)點(diǎn)的只讀模式。

傳輸延遲

主從節(jié)點(diǎn)?般部署在不同機(jī)器上，復(fù)制時(shí)的?絡(luò)延遲就成為需要考慮的問題，Redis?為我們提供
了?repl-disable-tcp-nodelay?參數(shù)?于控制是否關(guān)閉?TCP_NODELAY，默認(rèn)為?no，即開啟?tcp_nodelay?功能，說明如下：
??當(dāng)關(guān)閉時(shí)，主節(jié)點(diǎn)產(chǎn)?的命令數(shù)據(jù)?論??都會及時(shí)地發(fā)送給從節(jié)點(diǎn)，這樣主從之間延遲會變?，但增加了?絡(luò)帶寬的消耗。適?于主從之間的?絡(luò)環(huán)境良好的場景，如同機(jī)房部署。
??當(dāng)開啟時(shí)，主節(jié)點(diǎn)會合并較?的?TCP?數(shù)據(jù)包從?節(jié)省帶寬。默認(rèn)發(fā)送時(shí)間間隔取決于?Linux?的內(nèi)
核，?般默認(rèn)為?40?毫秒。這種配置節(jié)省了帶寬但增?主從之間的延遲。適?于主從?絡(luò)環(huán)境復(fù)雜
的場景，如跨機(jī)房部署.

---

拓?fù)浣Y(jié)構(gòu)

主從模式的拓?fù)浣Y(jié)構(gòu)描述了若干個(gè)節(jié)點(diǎn)之間,是按照什么樣的方式來進(jìn)行組織連接的.

常見的拓?fù)浣Y(jié)構(gòu)有:一主一從拓?fù)?一主多從拓?fù)浜蜆湫瓮負(fù)?

一主一從

如果寫數(shù)據(jù)的請求太多,此時(shí)也會給主節(jié)點(diǎn)造成很大壓力,可以通過關(guān)閉主節(jié)點(diǎn)的AOF來緩解主節(jié)點(diǎn)的壓力,只在從節(jié)點(diǎn)這里開啟aof.

但是這種設(shè)定方式,有一個(gè)嚴(yán)重缺陷:主節(jié)點(diǎn)一旦宕機(jī),不能讓它自動重啟,如果自動重啟,此時(shí)沒有aof文件,就會丟失數(shù)據(jù),進(jìn)一步的主從同步會把從節(jié)點(diǎn)的數(shù)據(jù)也給刪除.

所以,當(dāng)主節(jié)點(diǎn)掛了之后,就需要讓主節(jié)點(diǎn)從從節(jié)點(diǎn)這里獲取到aof的文件,在啟動.

一主多從

扁平化結(jié)構(gòu),此結(jié)構(gòu)一旦從節(jié)點(diǎn)個(gè)數(shù)增加很多,那么主節(jié)點(diǎn)同步一條數(shù)據(jù)就需要傳輸多次,可能會消耗大量的網(wǎng)絡(luò)帶寬.

樹形結(jié)構(gòu)

主節(jié)點(diǎn)同步數(shù)據(jù)不會消耗那么多的網(wǎng)絡(luò)帶寬了,但是一旦數(shù)據(jù)進(jìn)行同步,同步的延遲是比較長的,因?yàn)橐M(jìn)行多次網(wǎng)絡(luò)傳輸.

---

復(fù)制過程

注意的是其中同步數(shù)據(jù)集這步操作,對于首次建立復(fù)制的場景,主節(jié)點(diǎn)會把當(dāng)前所持有的所有數(shù)據(jù)全部發(fā)送給從節(jié)點(diǎn),這步的操作耗時(shí)最長,所以又劃分為兩種情況:全量復(fù)制和部分復(fù)制.

---

數(shù)據(jù)同步psync

redis使用psync命令完成主從數(shù)據(jù)同步,同步過程分為:全量復(fù)制和部分復(fù)制.

psync不需要我們手動執(zhí)行,redis服務(wù)器會在建立好主從復(fù)制關(guān)系之后,自動執(zhí)行psync.

從節(jié)點(diǎn)負(fù)責(zé)執(zhí)行psync,從節(jié)點(diǎn)從主節(jié)點(diǎn)這邊拉取數(shù)據(jù).

psync的命令格式:PSYNC?replicationid?offset.

如果replicationid設(shè)為?,offset設(shè)為-1,此時(shí)就是在嘗試進(jìn)行全量復(fù)制.

如果replicationid和offset設(shè)置了具體的值,則是嘗試進(jìn)行部分復(fù)制.

replicationid

replication是復(fù)制的意思,這個(gè)就表示是一個(gè)復(fù)制id.

replicationid是由主節(jié)點(diǎn)生成的,主節(jié)點(diǎn)啟動的時(shí)候就會生成,從節(jié)點(diǎn)晉升為主節(jié)點(diǎn)的時(shí)候,也會生成.

(即使是同一個(gè)主節(jié)點(diǎn),每次重啟的時(shí)候,生成的replicationid都是不同的).

從節(jié)點(diǎn)和主節(jié)點(diǎn)建立了復(fù)制關(guān)系,從節(jié)點(diǎn)就會從主節(jié)點(diǎn)這里獲取到replicationid.

一般replid2用不上.假設(shè)此時(shí)有一個(gè)主節(jié)點(diǎn)A和一個(gè)從節(jié)點(diǎn)B.A負(fù)責(zé)生成replid,B負(fù)責(zé)獲取A的replid.

如果A和B在通信過程中出現(xiàn)了網(wǎng)絡(luò)抖動,B可能會認(rèn)為A掛了,此時(shí)B就會自己成為主節(jié)點(diǎn),(給自己也生成一個(gè)replid),但是B也會保存之前舊的replid,這個(gè)舊的replid就會保存在replid2中,方便后續(xù)網(wǎng)絡(luò)穩(wěn)定之后,B重新與A建立復(fù)制關(guān)系.在主從模式下,上述過程需要手動干預(yù),而哨兵模式下可以自動完成.

offset

表示偏移量.主節(jié)點(diǎn)和從節(jié)點(diǎn)上都會維護(hù)偏移量(整數(shù)).

主節(jié)點(diǎn)的偏移量會根據(jù)收到的修改命令占據(jù)的字節(jié)數(shù)來將offset進(jìn)行累加.

從節(jié)點(diǎn)的偏移量就描述了,當(dāng)前從節(jié)點(diǎn)數(shù)據(jù)同步的進(jìn)度.

如果主節(jié)點(diǎn)的offset和從節(jié)點(diǎn)的offset一樣,就說明從節(jié)點(diǎn)的數(shù)據(jù)和主節(jié)點(diǎn)的數(shù)據(jù)一致了.

從節(jié)點(diǎn)每秒鐘會上報(bào)自身的復(fù)制偏移量給主節(jié)點(diǎn).

綜上,replicationid和offset就描述出一個(gè)數(shù)據(jù)集,就可以表示從節(jié)點(diǎn)從哪里復(fù)制的數(shù)據(jù),復(fù)制到哪里了!!!!

psync運(yùn)行流程

• 從節(jié)點(diǎn)發(fā)送psync命令給主節(jié)點(diǎn),replid和offset的默認(rèn)值分別是?和-1.
• 主節(jié)點(diǎn)根據(jù)psync的參數(shù)和自身的情況決定響應(yīng)結(jié)果.
• 如果回復(fù)+FULLRESYNC replid offset,則從節(jié)點(diǎn)需要進(jìn)行全量復(fù)制流程
• 如果回復(fù)+CONTINUE,從節(jié)點(diǎn)進(jìn)行部分復(fù)制流程
• 如果回復(fù)-ERR,說明redis主節(jié)點(diǎn)版本過低,不支持psync命令.此時(shí)從節(jié)點(diǎn)可以使用sync命令進(jìn)行全量復(fù)制.

注意:psync一般不需要進(jìn)行手動執(zhí)行,redis會在主從模式下自動調(diào)用執(zhí)行.

sync命令(1.0.0版本就有),會阻塞redis-server處理其他的請求,而psync命令則不會.

---

全量復(fù)制流程

何時(shí)進(jìn)行全量復(fù)制:首次和主節(jié)點(diǎn)進(jìn)行數(shù)據(jù)同步或者主節(jié)點(diǎn)不方便進(jìn)行部分復(fù)制的時(shí)候.

無硬盤模式