企業(yè)始終面臨著確保 IT 基礎(chǔ)設(shè)施和應(yīng)用程序全年可用的壓力?，F(xiàn)代架構(gòu)（容器、混合云、SOA、微服務(wù)等）的復(fù)雜性不斷增長，產(chǎn)生大量難以管理的日志。我們需要智能應(yīng)用程序性能管理 (APM) 和可觀察性工具來實現(xiàn)卓越生產(chǎn)并滿足可用性和正常運行時間目標(biāo)。其中包括分析應(yīng)用程序運行狀況、性能和用戶體驗。采用機(jī)器學(xué)習(xí)技術(shù)來識別異常和行為模式將有助于及早發(fā)現(xiàn)根本原因并滿足客戶服務(wù)級別協(xié)議 (SLA)。

APM和可觀察性工具市場無疑是火熱的。這些工具攝取多個遙測數(shù)據(jù)源，并且是強大的分析平臺，提供對應(yīng)用程序和基礎(chǔ)設(shè)施健康狀況（包括系統(tǒng)性能）的重要見解。采用可觀察性的軟件開發(fā)團(tuán)隊能夠更好地迭代發(fā)布他們的應(yīng)用程序代碼。根據(jù)“MarketsandMarkets”的研究，可觀測工具和平臺的市場規(guī)模預(yù)計將從 2023 年的 24 億美元增長到 2028 年的 4 億美元以上，復(fù)合年增長率 (CAGR) 為 11.7%。

什么是可觀察性？

可觀察性是指收集有關(guān)分布式應(yīng)用程序、基礎(chǔ)設(shè)施以及其內(nèi)部和外部組件和服務(wù)之間的通信的數(shù)據(jù)的能力，使團(tuán)隊能夠勤奮地調(diào)試他們的系統(tǒng)。它使站點可靠性工程 (SRE)、軟件工程和運營團(tuán)隊能夠分析客戶影響并對服務(wù)中斷進(jìn)行分類?？捎^察性和監(jiān)控有時可以互換使用?？捎^察性（主動）使數(shù)據(jù)可訪問，并允許您提出任何系統(tǒng)問題以更深入地了解代碼的行為方式。監(jiān)控（反應(yīng)式）是收集和顯示數(shù)據(jù)以及確定系統(tǒng)整體狀態(tài)的能力的任務(wù)。
可觀察性可以進(jìn)一步細(xì)分為三個關(guān)鍵支柱：日志、跟蹤和指標(biāo)，這對于 SRE 可觀察性至關(guān)重要。

? 日志幫助我們診斷問題并告訴我們問題發(fā)生的原因。
? 跟蹤幫助我們隔離問題并告訴我們問題發(fā)生的位置。
? 指標(biāo)幫助我們發(fā)現(xiàn)問題并告訴我們發(fā)生了什么。

市場工具、能力和挑戰(zhàn)

Gartner 的 APM 和可觀察性魔力象限已識別出 20 多個提供 APM 和可觀察性功能的供應(yīng)商產(chǎn)品，包括自托管、供應(yīng)商管理或 SaaS 部署。這些產(chǎn)品提供多種功能，包括應(yīng)用程序性能指標(biāo)、事件監(jiān)控和警報、可追溯性、異常檢測和漏洞等。

企業(yè)業(yè)務(wù)應(yīng)用程序包括自主開發(fā)的應(yīng)用程序（例如.NET、Java、Python、SQL、NoSQL DB 等）、第三方/現(xiàn)成產(chǎn)品（例如 Salesforce、HubSpot 等）和集成（例如 Stripe、PayPal 等）。自行開發(fā)的應(yīng)用程序托管在本地數(shù)據(jù)中心或由 AWS、GCP 或 Azure 等云供應(yīng)商托管?，F(xiàn)成的產(chǎn)品基于 SaaS 或通過 API 集成。高度分布式的應(yīng)用程序跨越數(shù)十個和數(shù)百個節(jié)點、服務(wù)和實例。

? 工具過多：企業(yè)應(yīng)用程序使用各種工具來監(jiān)控應(yīng)用程序運行狀況和性能（例如New Relic、Data Dog 等）、錯誤日志記錄（例如Splunk）以及云供應(yīng)商提供的工具（例如CloudWatch）。這些產(chǎn)品在功能上重疊，維護(hù)和管理這些工具（采購、學(xué)習(xí)曲線等）可能很麻煩。

? 不可預(yù)測的數(shù)據(jù)量：想象一下根據(jù)應(yīng)用程序流量、使用情況、對外部產(chǎn)品的依賴性等收集的可觀察性數(shù)據(jù)（日志、跟蹤、指標(biāo)）的數(shù)量。整合這些數(shù)據(jù)源所需的數(shù)據(jù)存儲量可能會快速增長?？刂?。

? 定價復(fù)雜：這些供應(yīng)商產(chǎn)品還提供不同的定價模型，例如按主機(jī)收費（例如Splunk、Data Dog、Dynatrace）、按用戶收費（例如New Relic）、按攝取收費（例如SumoLogic、AppDynamics）。定價模型的復(fù)雜性使得比較供應(yīng)商之間的總擁有成本 (TCO) 并確定適合您的要求和預(yù)算的正確工具具有挑戰(zhàn)性。

為什么選擇開源可觀測平臺？

基于開源的可觀測性工具旨在提供一種標(biāo)準(zhǔn)的、與供應(yīng)商無關(guān)的方法，用于攝取、轉(zhuǎn)換數(shù)據(jù)并將數(shù)據(jù)發(fā)送到可觀測性后端。開源可觀察性工具可以作為節(jié)省許可成本的替代方案，并將多個 APM 工具與適合您的要求和預(yù)算的工具整合在一起。

但是，維護(hù)開源系統(tǒng)可能需要付出努力來設(shè)置和維護(hù)，并且會增加您的初始運營成本。但從長遠(yuǎn)來看，您將節(jié)省許可費用并避免供應(yīng)商鎖定和合同協(xié)議。

Gartner 預(yù)測，到 2025 年，70% 的新云原生應(yīng)用監(jiān)控將使用開源工具而不是特定于供應(yīng)商的代理來提高互操作性，并且 70% 的新云原生應(yīng)用將采用 OpenTelemetry 來實現(xiàn)可觀察性而不是供應(yīng)商。特定代理和軟件開發(fā)工具包 (SDK)。

使用開源生態(tài)系統(tǒng)擴(kuò)展可觀測性

可觀察性的開源格局非常動態(tài)。有多個云原生計算基金會 (CNCF) 開源工具用于可觀察和監(jiān)控。這篇文章將主要關(guān)注 OpenTelemetry 框架和 LGTM 技術(shù)堆棧。

OpenTelemetry：
上述“工具太多”的挑戰(zhàn)給遙測數(shù)據(jù)收集帶來了新的挑戰(zhàn)。每個工具供應(yīng)商都有自己的 API、SDK、日志、指標(biāo)和跟蹤代理和收集器。我們需要使用 OpenTelemetry 框架的統(tǒng)一遙測收集來創(chuàng)建和管理遙測數(shù)據(jù)，例如日志、跟蹤和指標(biāo)。

CNCF 贊助的 OTEL 項目提供了一套統(tǒng)一的與供應(yīng)商無關(guān)的 API、SDK 和工具，用于生成和收集遙測數(shù)據(jù)并將其導(dǎo)出到各種分析工具。您可以獲得每種編程語言的一個 API 和 SDK 來提取應(yīng)用程序的可觀測性數(shù)據(jù)、一個標(biāo)準(zhǔn)收集器、一個傳輸協(xié)議 (OTLP) 等。

LGTM：
最流行的基于開源的可觀測性和監(jiān)控是使用 LGTM 技術(shù)堆棧實現(xiàn)的。

在LGTM 堆棧中，我們利用：
? Loki 用于日志聚合
? Grafana 儀表板用于遙測可視化
? Tempo（或 Jaeger）用于跟蹤聚合
? 托管 Prometheus 用于指標(biāo)聚合

結(jié)論

可觀察性是指整個系統(tǒng)的完整可見性以及將業(yè)務(wù)指標(biāo)與技術(shù)數(shù)據(jù)聯(lián)系起來。監(jiān)控是為了了解事情是否正常工作，而 AIOps 是為了從這種可見性中獲取意義。可觀察性和監(jiān)控對于確保應(yīng)用程序順利運行并滿足客戶 SLA 至關(guān)重要。總之，通過投資開源 OTel 框架和 LGTM 工具，SRE 團(tuán)隊可以有效監(jiān)控其應(yīng)用程序并深入了解系統(tǒng)行為和潛在問題。這些工具提供成本效益和定制以滿足特定要求。它促進(jìn)供應(yīng)商中立，這對于避免供應(yīng)商鎖定至關(guān)重要。