一、寫在前面

1、混沌是什么？

混沌工程（Chaos Engineering）的概念由 Netflix 在 2010 年提出，通過(guò)主動(dòng)向系統(tǒng)中引入異常狀態(tài)，并根據(jù)系統(tǒng)在各種壓力下的行為表現(xiàn)確定優(yōu)化策略，是保障系統(tǒng)穩(wěn)定性的新型手段。

混沌工程是一門在分布式系統(tǒng)上進(jìn)行實(shí)驗(yàn)的學(xué)科，目的是建立人們對(duì)于復(fù)雜系統(tǒng)在生產(chǎn)環(huán)境中抵御突發(fā)事件的信息。

2、為什么要做混沌？

混沌工程通過(guò)有意地引入故障、異?；虿淮_定性的條件，以模擬真實(shí)世界中的不完美環(huán)境。其核心思想是通過(guò)主動(dòng)引入故障和異常情況，逐步驗(yàn)證和提升系統(tǒng)的健壯性，從而增加系統(tǒng)在面對(duì)真實(shí)世界中的復(fù)雜環(huán)境時(shí)的穩(wěn)定性和可靠性。其目的是識(shí)別潛在的系統(tǒng)弱點(diǎn)，并改進(jìn)應(yīng)用系統(tǒng)的健壯性和恢復(fù)能力，減少系統(tǒng)故障造成的影響，并提供更好的用戶體驗(yàn)。

3、混沌的原則

混沌工程主要遵循以下原則：

1. 假設(shè)清晰性（Assumption-Driven）：明確系統(tǒng)的行為和性能的關(guān)鍵假設(shè)。這些假設(shè)可以基于系統(tǒng)需求、設(shè)計(jì)決策或運(yùn)行環(huán)境等方面?；煦绻こ痰膶?shí)驗(yàn)應(yīng)著眼于驗(yàn)證或推翻這些假設(shè)。

2. 實(shí)驗(yàn)的真實(shí)性（Experimentation）：通過(guò)有意地注入故障、異常或不確定性的條件來(lái)模擬真實(shí)世界中的不完美環(huán)境。實(shí)驗(yàn)應(yīng)該是可控和可重復(fù)的，以便在安全范圍內(nèi)進(jìn)行測(cè)試和觀察系統(tǒng)的響應(yīng)。

3. 最小化影響（Minimizing Blast Radius）：實(shí)施混沌實(shí)驗(yàn)時(shí)需要注意最小化對(duì)生產(chǎn)環(huán)境和用戶的負(fù)面影響。合理限制實(shí)驗(yàn)的范圍和影響范圍，并使用適當(dāng)?shù)娘L(fēng)險(xiǎn)管理方法保護(hù)關(guān)鍵業(yè)務(wù)功能。

4. 監(jiān)測(cè)和度量（Monitoring and Measurement）：實(shí)驗(yàn)期間需要密切系統(tǒng)報(bào)警機(jī)制。使用監(jiān)控工具和指標(biāo)來(lái)收集實(shí)驗(yàn)數(shù)據(jù)，以便評(píng)估系統(tǒng)的穩(wěn)定性和彈性。

5. 分析和學(xué)習(xí)（Analyzing and Learning）：對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行復(fù)盤，并從中提取經(jīng)驗(yàn)教訓(xùn)。確定問(wèn)題的根本原因，并制定相應(yīng)的改進(jìn)計(jì)劃和解決方案。

6. 持續(xù)改進(jìn)（Continuous Improvement）：混沌工程是一個(gè)持續(xù)改進(jìn)的過(guò)程。通過(guò)不斷地進(jìn)行實(shí)驗(yàn)、分析和修正，提高系統(tǒng)的彈性、穩(wěn)定性和可恢復(fù)性。

二、Y的混沌發(fā)展

近三年，京東混沌工程作為大促三道防線之一，在促前扮演了非常重要的角色，而Y的混沌實(shí)踐，也在不斷地進(jìn)行升級(jí)，主要從應(yīng)用覆蓋率和場(chǎng)景覆蓋率兩個(gè)方向明確提升方向，并在集團(tuán)混沌大賽上取得了一系列突破和成績(jī)。

1、探索階段（21年）

追溯到21年618，Y主要以探索試點(diǎn)為目標(biāo)，混沌試驗(yàn)應(yīng)用覆蓋上主要以非0/1級(jí)應(yīng)用為主，演練場(chǎng)景上以斷網(wǎng)演練等簡(jiǎn)單場(chǎng)景為主，攻守雙發(fā)均為研發(fā)。

2、發(fā)展階段（22年）

22年隨著京東混沌工程的迭代升級(jí)，在演練場(chǎng)景及系統(tǒng)易用性上均有明顯改善，Y側(cè)也重點(diǎn)在混沌演練場(chǎng)景上進(jìn)行全面覆蓋，從基礎(chǔ)資源故障拓展到外部依賴故障再到高級(jí)場(chǎng)景補(bǔ)充，不斷提升系統(tǒng)穩(wěn)定性。同時(shí)逐步覆蓋0/1級(jí)核心系統(tǒng)，并沉淀混沌演練操作手冊(cè)、混沌演練規(guī)范等，演練以測(cè)試為攻方，研發(fā)為守方，明確職責(zé)分工。

22年618由測(cè)試同學(xué)承接混沌演練，在演練前、演練中、演練后分別推進(jìn)以下相關(guān)工作：

1. 定義演練目標(biāo)：明確演練目標(biāo)和期望結(jié)果。包含確定要執(zhí)行的應(yīng)用系統(tǒng)范圍、執(zhí)行的場(chǎng)景、應(yīng)用系統(tǒng)監(jiān)控的配置、故障場(chǎng)景的觀測(cè)、問(wèn)題處理機(jī)制等，從而提升應(yīng)用系統(tǒng)健康度。

2. 識(shí)別關(guān)鍵組件和場(chǎng)景：確定系統(tǒng)中的關(guān)鍵組件和依賴關(guān)系，并識(shí)別可能影響系統(tǒng)穩(wěn)定性和性能的典型場(chǎng)景。這些場(chǎng)景可以包括網(wǎng)絡(luò)故障、資源耗盡、高并發(fā)等。

3. 制定演練計(jì)劃：制定一份詳細(xì)的實(shí)驗(yàn)計(jì)劃，包括演練的時(shí)間、范圍、持續(xù)時(shí)間以及參與者的角色和職責(zé)。確保所有參與者都了解實(shí)驗(yàn)計(jì)劃和預(yù)期結(jié)果。

4. 設(shè)置監(jiān)控體系：在演練之前，檢查泰山中的MDC、UMP、中間件等配置，進(jìn)一步了解應(yīng)用的監(jiān)控信息，根據(jù)應(yīng)用的監(jiān)控信息，更有針對(duì)性的模擬系統(tǒng)故障。

5. 執(zhí)行演練場(chǎng)景：按照演練計(jì)劃執(zhí)行混沌演練，例如模擬網(wǎng)絡(luò)故障、內(nèi)存故障、CPU故障、中間件故障等，觀察系統(tǒng)的報(bào)警信息和研發(fā)運(yùn)維響應(yīng)，并記錄關(guān)鍵指標(biāo)和事件。

6. 結(jié)果復(fù)盤：在演練結(jié)束后，收集和分析實(shí)驗(yàn)期間的數(shù)據(jù)和觀察結(jié)果。評(píng)估系統(tǒng)的穩(wěn)定性、可恢復(fù)性以及對(duì)異常情況的處理能力。識(shí)別存在的問(wèn)題并制定系統(tǒng)的改進(jìn)方案。

7. 改進(jìn)和優(yōu)化：基于演練結(jié)果和分析，制定改進(jìn)計(jì)劃并采取相應(yīng)的措施。這可能包括修復(fù)漏洞、提高系統(tǒng)的容錯(cuò)性、優(yōu)化資源利用等。確保經(jīng)驗(yàn)教訓(xùn)被記錄下來(lái)，以便未來(lái)的演練和運(yùn)維中可以借鑒。

8. 定期演練和持續(xù)改進(jìn)：通過(guò)常態(tài)化混沌演練，確保系統(tǒng)的持續(xù)的穩(wěn)定性和彈性。

3、成長(zhǎng)階段（23年）

經(jīng)過(guò)22年的實(shí)戰(zhàn)總結(jié)，23年618 Y 重點(diǎn)推進(jìn)應(yīng)用覆蓋率提升，最終達(dá)到99.68%，零售TOP1。實(shí)踐策略按照集團(tuán)要求優(yōu)先完成系統(tǒng)推薦的9大場(chǎng)景，同時(shí)有針對(duì)性選擇一些特定的場(chǎng)景，完善系統(tǒng)監(jiān)控，最終0/1級(jí)應(yīng)用健康度>95分，高危項(xiàng)清零。大促期間各系統(tǒng)性能達(dá)標(biāo)，無(wú)線上事故發(fā)生。在取得階段性成績(jī)的同時(shí)，離不開團(tuán)隊(duì)成員在每個(gè)階段都嚴(yán)格遵循以下原則，高標(biāo)準(zhǔn)對(duì)待每一次演練：

1. 目標(biāo)驅(qū)動(dòng)：確保每個(gè)演練都有明確的目標(biāo)和預(yù)期結(jié)果，以便評(píng)估其有效性和價(jià)值。

2. 漸進(jìn)式迭代：逐漸增加演練場(chǎng)景的復(fù)雜度和挑戰(zhàn)性，使團(tuán)隊(duì)能夠適應(yīng)變化并逐步提高系統(tǒng)的健壯性。

3. 持續(xù)學(xué)習(xí)：定期復(fù)盤演練結(jié)果和反饋，記錄每一次的實(shí)驗(yàn)案例、問(wèn)題與挑戰(zhàn)，并根據(jù)經(jīng)驗(yàn)教訓(xùn)進(jìn)行分類與分析、根據(jù)復(fù)盤結(jié)果進(jìn)行調(diào)整和改進(jìn)。

4. 經(jīng)驗(yàn)傳承：根據(jù)總結(jié)的經(jīng)驗(yàn)教訓(xùn)和成功實(shí)驗(yàn)案例，制定一份最佳實(shí)戰(zhàn)指南。這些包含演練計(jì)劃、場(chǎng)景選擇、執(zhí)行計(jì)劃、監(jiān)控以及研發(fā)問(wèn)題處理機(jī)制等，幫助團(tuán)隊(duì)更好執(zhí)行混沌演練。

5. 跨團(tuán)隊(duì)協(xié)作：混沌演練與開發(fā)、運(yùn)維、測(cè)試等團(tuán)隊(duì)緊密合作，跟混沌工程建設(shè)團(tuán)隊(duì)多次交流，共同推動(dòng)應(yīng)用系統(tǒng)的穩(wěn)定性和健壯性。

三、混沌與傳統(tǒng)測(cè)試的區(qū)別

混沌工程是一種幫助我們獲得更多的關(guān)于系統(tǒng)的新認(rèn)知的實(shí)驗(yàn)方法。它和已有的功能測(cè)試、集成測(cè)試等測(cè)試已知屬性的方法有本質(zhì)上的區(qū)別?；煦绻こ?#xff0c;旨在幫助我們獲得更多的關(guān)于系統(tǒng)的新認(rèn)知的實(shí)驗(yàn)方法，通常還能開辟出一個(gè)更廣袤的對(duì)復(fù)雜系統(tǒng)的認(rèn)知空間。

傳統(tǒng)測(cè)試，旨在給定一個(gè)特定的條件，系統(tǒng)會(huì)輸出一個(gè)特定的二元結(jié)果，它僅僅是對(duì)已知的系統(tǒng)屬性可能的取值進(jìn)行測(cè)驗(yàn)。

混沌工程的思維方式是主動(dòng)去找故障，是探索性的。雖然按計(jì)劃做好了降級(jí)預(yù)案，但是關(guān)閉節(jié)點(diǎn)時(shí)卻引發(fā)了上游服務(wù)故障，進(jìn)而引發(fā)雪崩，這不是靠故障注入或預(yù)先計(jì)劃能發(fā)現(xiàn)的。

四、寫在后面

混沌工程，是一種提高技術(shù)架構(gòu)彈性能力的復(fù)雜技術(shù)手段，旨在將故障扼殺在襁褓之中，也就是在故障造成中斷之前將它們識(shí)別出來(lái)。通過(guò)主動(dòng)制造故障，測(cè)試系統(tǒng)在各種壓力下的行為，識(shí)別并修復(fù)故障問(wèn)題，避免造成嚴(yán)重后果。

隨著系統(tǒng)新功能不斷上線，依賴方變化等，均可能導(dǎo)致系統(tǒng)產(chǎn)生一系列未知故障，故混沌工程實(shí)踐最重要的就是可持續(xù)，通過(guò)增加混沌實(shí)驗(yàn)的次數(shù)不斷地發(fā)揮混沌工程的價(jià)值，Y一直在路上！

作者：京東零售 李金萍 馬春榮

來(lái)源：京東云開發(fā)者社區(qū)