一、ELK日志分析系統(tǒng)

1、ELK簡介

• ELK平臺是一套完整的日志集中處理解決方案，將ElasticSearch、Logstash和Kibana三個開源工具配合使用，完成更強大的用戶對日志的查詢、排序、統(tǒng)計需求。
• 提高安全性
• 集中存放日志（集中存放時對日志處理困難）

1.2 ElasticSearch

• ES是基于Lucene（一個全文檢索引擎的架構）開發(fā)的分布式存儲檢索引擎，用來存儲各類日志。
• ES是用JAVA開發(fā)的，可通過RESTful Web接口，讓用戶可以通過瀏覽器與ES通信。
• ES是個分布式搜索和分析引擎，優(yōu)點是能對大容量的數(shù)據(jù)進行接近實時的存儲、搜索和分析操作。

1.3 Logstash

• Logstash作為數(shù)據(jù)收集引擎。它支持動態(tài)的從各種數(shù)據(jù)源搜索數(shù)據(jù)，并對數(shù)據(jù)進行過濾、分析、豐富、統(tǒng)一格式等操作，然后存儲到用戶指定的位置，一般會發(fā)送給ES。
• Logstash由JRuby語言編寫，運行在JAVA虛擬機（JVM）上，是一款強大的數(shù)據(jù)處理工具，可以實現(xiàn)數(shù)據(jù)傳輸、格式處理、格式化輸出。Logstash具有強大的插件功能，常用于日志處理。
• 三個組件：input（數(shù)據(jù)采集）、filter（數(shù)據(jù)過濾）、 output(數(shù)據(jù)輸出)

1.4 Kibana（展示數(shù)據(jù)可視化界面）

• Kibana是基于Node.js開發(fā)的展示工具，可以為Logstash和ES提供圖形化的日志分析Web界面展示，可以匯總、分析和搜索重要數(shù)據(jù)日志。

1.5 Filebeat

• Filebeat是一款輕量級的開源日志文件數(shù)據(jù)搜索器。通常在需要采集數(shù)據(jù)的客戶端安裝Filebeat，并指定目錄與日志格式，Filebeat就能快速收集數(shù)據(jù)，并發(fā)送給logstash進行解析，或是直接發(fā)給ES存儲，性能上相比運行于JVM上的logstash優(yōu)勢明顯，是對它的替代。

2、使用ELK的原因

• 日志主要包括日志、應用程序日志和安全日志。系統(tǒng)運維和開發(fā)人員可以通過日志了解服務器軟硬件信息、檢查配置過程中的錯誤及錯誤及錯誤發(fā)生的原因。經(jīng)常分析日志可以了解服務器的負荷，性能安全性，從而及時采取措施糾正錯誤。
• 往往單臺機器的日志我們使用grep、awk等工具就能基本實現(xiàn)簡單分析，但是當日志被分散的儲存不同的設備上。如果你管理數(shù)十上百臺服務器，你還在使用依次登錄每臺機器的傳統(tǒng)方法查閱匯總。集中化管理日志后，日志的統(tǒng)計和檢索又成為一件比較麻煩的事情，一般我們使用grep、awk和wc等linux命令能實現(xiàn)檢索和統(tǒng)計，但是對于要求更高的查詢、排序和統(tǒng)計等要求和龐大的機器數(shù)量依然使用這樣的方法難免有點力不從心。
• 一般大型系統(tǒng)是一個分布式部署的架構，不同的服務模塊部署在不同的服務器上，問題出現(xiàn)時，大部分情況需要根據(jù)問題暴露的關鍵信息，定位到具體的服務器和服務模塊，構建一套集中式日志系統(tǒng)，可以提高定位問題的效率。

3、完整日志系統(tǒng)的基本特征

• 收集：能夠采集多種來源的日志數(shù)據(jù)
• 傳輸：能夠穩(wěn)定的把日志數(shù)據(jù)解析過濾并傳輸?shù)酱鎯ο到y(tǒng)
• 存儲：存儲日志數(shù)據(jù)
• 分析：支持UI分析
• 警告：能夠提供錯誤報告，監(jiān)控機制

4、ELK的工作原理

• 在所有需要收集日志的服務器上部署Logstash；或者先將日志進行集中化管理在日志服務器上，在日志服務器上部署Logstash。
• Logstash收集日志，將日志格式化并輸出到es群集中。
• ES對格式化后的數(shù)據(jù)進行索引和存儲。
• Kibana從ES群集中查詢數(shù)據(jù)生成圖表，并進行前端數(shù)據(jù)的顯示。

二、部署ELK日志分析系統(tǒng)

1、服務器配置

服務器	配置	主機名	ip地址	主要軟件部署
node1節(jié)點	2C/4G	node1	192.168.10.12	ElasticSearch、Kibana
node2節(jié)點	2C/4G	node2	192.168.10.13	ElasticSearch
apache節(jié)點	-	apache	192.168.10.14	Logstash、Apache

2、關閉防火墻

systemctl stop firewalld
setenforce 0
#關閉防火墻和核心防護

3、ELK ElasticSearch集群部署（在node1、node2節(jié)點上操作）

3.1 環(huán)境準備（更改主機名、配置域名解析、查看Java環(huán)境）

hostnamectl set-hostname node1（或者node2）
su
#修改主機名echo "192.168.10.12 node1" >> /etc/hosts
echo "192.168.10.13 node2" >> /etc/hosts
#主機名追加到/etc/hosts文件的末尾（可以通過node主機名來訪問IP地址）java -version
#查看Java版本信息
#如果沒有安裝，可使用“yum install -y java”進行安裝

• node1

• node2

3.2 部署ElasticSearch軟件

3.2.1 安裝elasticsearch-rpm包

cd /opt
#切換目錄#上傳elasticsearch-5.5.0.rpm到/opt目錄下rpm -ivh elasticsearch-5.5.0.rpm
#安裝

• node1

• node2

3.2.2 加載系統(tǒng)服務

systemctl daemon-reload
#重新加載systemctl enable elasticsearch.service 
#開機自啟

• node1

• node2

3.2.3 修改elasticsearch主配置文件

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
#備份配置文件#修改配置文件
vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
#17行，取消注釋，指定群集名稱
node.name: node節(jié)點
#23行，取消注釋，指定節(jié)點名稱（node1節(jié)點為node1，node2節(jié)點為node2）
path.data: /data/elk_data
#33行，取消注釋，指定數(shù)據(jù)存放路徑
path.logs: /var/log/elasticsearch/
#37行，取消注釋，指定日志存放路徑
bootstrap.memory_lock: false
#43行，取消注釋，改為在啟動的時候不鎖定內(nèi)存，開啟為true
network.host: 0.0.0.0
#55行，取消注釋，設置監(jiān)聽地址，0.0.0.0代表所有地址
http.port: 9200
#59行，取消注釋，ES服務的默認監(jiān)聽端口為9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
#68行，取消注釋，集群發(fā)現(xiàn)通過單播實現(xiàn)，指定要發(fā)現(xiàn)的節(jié)點node1、node2grep -v "^#" /etc/elasticsearch/elasticsearch.yml
#過濾查看修改的配置文件

• node1

• node2

3.2.4 創(chuàng)建數(shù)據(jù)存放路徑并授權

mkdir -p /data/elk_data
#創(chuàng)建目錄chown elasticsearch:elasticsearch /data/elk_data/
#修改屬主、屬組

• node1

• node2

3.2.5 啟動elasticsearch

systemctl start elasticsearch.service 
#開啟es服務ss -natp | grep 9200
#查看進程  

• node1

• node2

3.2.6 查看節(jié)點信息

• 瀏覽器訪問http://192.168.10.12:9200、http://192.168.10.13:9200查看節(jié)點node1、node2的信息

• 瀏覽器訪問http://192.168.10.12:9200/_cluster/health?pretty、http://192.168.10.13:9200/_cluster/health?pretty查看群集的健康情況，可以看到status值為green(綠色)，表示節(jié)點健康運行，數(shù)據(jù)和副本全都沒有問題（紅色：表示數(shù)據(jù)都不完整、黃色：表示數(shù)據(jù)完整，但副本有問題）

• 瀏覽器訪問http://192.168.10.12:9200/_cluster/state?pretty檢查群集狀態(tài)信息

使用上述方式查看群集的狀態(tài)對用戶并不友好，可以通過安裝Elasticsearch-head插件，更方便的對群集進行管理。

3.3 安裝Elasticsearch-head插件

• ES在5.0版本后，插件需要作為獨立服務進行安裝，需要使用npm工具（NodeJS的包管理工具）安裝。安裝Elasticsarch-head需要提前安裝好依賴軟件node和phantomjs。

node

• 是一個基于Chrome V8引擎的JavaScript運行環(huán)境

phantomjs

• 是一個基于webkit的JavaScriptAPI，可以理解為一個隱形的瀏覽器，任何基于webkit瀏覽器做的事情，它都可以做到。

3.3.1 編譯安裝node

cd /opt
#切換目錄#上傳軟件包node-v8.2.1.tar.gz（編譯工具）到/opt目錄yum install -y gcc gcc-c++ make
#安裝依賴環(huán)境tar xf node-v8.2.1.tar.gz
#解壓cd node-v8.2.1/
#切換目錄./configure
#執(zhí)行，進行配置make -j4 && make install
#編譯及安裝（安裝時間會久一點）

• node1

• node2

3.3.2 安裝phantomjs

cd /opt
#切換目錄#上傳軟件包phantomjs-2.1.1-linux-x86_64.tar.bz2到/opt目錄tar xf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src
#解壓到指定目錄cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
#切換目錄cp phantomjs /usr/local/bin
#復制

• node1

• node2

3.3.3 安裝Elasticsearch-head數(shù)據(jù)可視化工具

cd /opt
#切換目錄#上傳軟件包elasticsearch-head.tar.gz到/opt目錄tar xf elasticsearch-head.tar.gz -C /usr/local/src/
#解壓到指定目錄/usr/local/src/cd /usr/local/src/elasticsearch-head/
#切換目錄npm install
#安裝

• node1

• node2

3.3.4 修改Elasticsearch主配置文件

#修改配置文件，末行添加以下內(nèi)容
vim /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true	
#開啟跨域訪問支持，默認為false
http.cors.allow-origin: "*"
#指定跨域訪問允許的域名地址為所有systemctl restart elasticsearch.service
#重啟服務

• node1

• node2

3.3.5 啟動elasticsearch-head服務

cd /usr/local/src/elasticsearch-head/
#切換目錄npm run start &
#后臺開啟ss -natp | grep 9100
#查看進程#注：必須在解壓后的elasticsearch-head目錄下啟動服務，進程會讀取該目錄下的gruntfile.js文件，否則可能啟動失敗。

• node1

• node2

3.3.6 通過Elasticsearch-head查看ES信息

• 通過瀏覽器訪問http://192.168.10.12:9100地址并連接群集。如果看到群集健康值為green，代表群集很健康。

• node1

• node2

3.3.7 插入索引

• 通過命令插入一個測試索引，索引為index-demo，類型為test

curl -X PUT 'localhost:9200/index-demo1/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
#發(fā)送http請求，向運行在localhost:9200的Elasticsearch服務器的index-demo索引的test類型中，更新或創(chuàng)建一個ID為1的文檔，文檔的內(nèi)容是{"user":"zhangsan","mesg":"hello world"}#-X指定HTTP請求方法為PUT
#-H表示定義類型
#-d表示指定內(nèi)容

• node1

• node2

3.3.8 瀏覽器查看索引信息

• 瀏覽器訪問http://129.168.10.13:9100查看索引信息，可以看見索引默認被分片為5個，并且有一個副本。

點擊“數(shù)據(jù)瀏覽”，會發(fā)現(xiàn)在node1上創(chuàng)建的索引為index-demo，類型為test的相關信息。顯示詳細數(shù)據(jù)

4、ELK-Logstash部署（在Apache節(jié)點上操作）

• Logstash一般部署在需要監(jiān)控其日志的服務器。在本案例中，Logstash部署在Apache服務器上，用于收集Apache的日志信息并發(fā)送到Elasticsearch。

4.1 更改主機名

• ip：192.168.10.14

hostnamectl set-hostname apache
su
#修改主機名systemctl stop firewalld
setenforce 0
#關閉防火墻和防護中心

4.2 安裝Apache服務（httpd）

yum install -y httpd
#安裝httpdsystemctl start httpd
#開啟服務

4.3 安裝Java環(huán)境

yum install -y java
#安裝Javajava -version
#查看Java版本

4.4 安裝logstash

cd /opt
#切換目錄#上傳軟件包logstash-5.5.1.rpm到/opt目錄下rpm -ivh logstash-5.5.1.rpm
#安裝systemctl start logstash.service
#開機自啟ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
#做軟連接

4.5 測試Logstash

4.5.1 Logstash命令常用選項

常用選項	說明
-f	通過這個選項可以指定Logstash的配置文件，根據(jù)配置文件配置Logstash的輸入和輸出流
-e	從命令行中獲取，輸入、輸出后面跟著字符串，該字符串可以被當做Logstash的配置（如果是空，則默認使用stdin作為輸入，stdout作為輸出）
-t	測試配置文件是否正確，然后退出

4.5.2 定義輸入和輸出

4.5.2.1 標準輸入、輸出

• 輸入采用標準輸入，輸出采用標準輸出（類似管道）

logstash -e 'input { stdin{} } output { stdout{} }'
#定義輸入和輸出www.baidu.com
#鍵入內(nèi)容（標準輸入）
2024-04-10T11:23:53.306Z apache www.baidu.com#輸入結果（標準輸出）

4.5.2.2 rubydebug輸出

• 使用rubydebug輸出詳細格式顯示，codec為一種編解碼器

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
##定義輸入和輸出www.baidu.com
#鍵入內(nèi)容（標準輸入）{"@timestamp" => 2024-04-10T11:25:58.794Z,"@version" => "1","host" => "apache","message" => "www.baidu.com"
}
#顯示輸出結果（處理后的結果）

4.5.2.3 輸出到ES

• 使用logstash將寫入到ES中

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.10.12:9200"] } }'
#將logstash輸出結果寫入到es中www.baidu.com
#鍵入內(nèi)容（標準輸出）#結果不在標準輸出顯示，而是發(fā)送至ES，可瀏覽器訪問http://192.168.10.12:9100查看索引和數(shù)據(jù)

4.6 定義logstash配置文件

• logstash配置文件基本由三部分組成：input輸入、output輸出以及filter過濾（可選，根據(jù)需要選擇使用）。

格式如下：

input {...}
output {...}filter {...}

• 在每個部分中，也可以指定多個訪問方式。例如，若要指定兩個日志來源文件，則格式如下：

input {file { path =>"/var/log/messages" type =>"syslog"}file { path =>"/var/log/httpd/access.log" type =>"apache"}}

• 修改logstash配置文件，讓其收集系統(tǒng)日志/var/log/messages，并將其輸出到ES中。

chmod +r /var/log/messages
#賦予讀的權限，讓Logstash可以獲取到該文件的內(nèi)容vim /etc/logstash/conf.d/system.conf
#該文件需自行創(chuàng)建，文件名可自定義
input {file{path =>"/var/log/messages"#指定要收集的日志的位置type =>"system"#自定義日志類型標識start_position =>"beginning"#表示從開始處收集}
}
output {elasticsearch{#輸出到EShosts =>["192.168.10.12:9200", "192.168.10.13:9200"]#指定ES服務器的地址和端口，為避免單機故障，建議寫全index =>"system-%{+YYYY.MM.dd}"#指定輸出到ES的索引格式}
}systemctl restart logstash.service
#重啟服務

4.7 訪問測試

• 瀏覽器訪問http://192.168.10.12:9100查看索引信息

5、ELK-Kibana部署（在node1節(jié)點上操作）

5.1 安裝Kibana

cd /opt
#切換目錄#上傳軟件包kibana-5.5.1-x86_64.rpm到/opt目錄rpm -ivh kibana-5.5.1-x86_64.rpm
#安裝

5.2 設置Kibana的主配置文件

cp /etc/kibana/kibana.yml /etc/kibana/kibana.yml.bak
#備份配置文件#編輯配置文件
vim /etc/kibana/kibana.yml
server.port: 5601
#2行，取消注釋，kibana服務的默認監(jiān)聽端口為5601
server.host: "0.0.0.0"
#7行，取消注釋，設置kibana的監(jiān)聽地址，0.0.0.0代表所有地址
elasticsearch.url: "http://192.168.10.12:9200"
#21行，取消注釋，設置和ES建立連接的地址和端口
kibana.index: ".kibana"
#30行，取消注釋，設置在ES中添加.kibana索引

5.3 啟動kibana服務

systemctl start kibana.service 
#開啟服務systemctl enable kibana.service 
#開啟自啟ss -natp | grep 5601
#查看進程

5.4 驗證kibana

• 瀏覽器訪問http://192.168.10.12:5601

• 第一次登錄需要添加一個ES索引輸入system-*

• 索引添加完成后，點擊“Discover”按鈕可查看圖表信息及日志信息

• 數(shù)據(jù)展示可以分類顯示，例如：在“Available Fileds”中add添加“_type”查看

5.5 將Apache服務器的日志（訪問的、錯誤的）添加到ES并通過kibana顯示

• apache服務器

#apache服務器添加配置，將日志（訪問的、錯誤的）添加到ES并通過kibana顯示
vim /etc/logstash/conf.d/apache_log.conf
input {file{path => "/etc/httpd/logs/access_log"type => "access"start_position => "beginning"}file{path => "/etc/httpd/logs/error_log"type => "error"start_position => "beginning"}
}
output {if [type] == "access" {elasticsearch {hosts => ["192.168.10.12:9200", "192.168.10.13:9200"]index => "apache_access-%{+YYYY.MM.dd}"}}if [type] == "error" {elasticsearch {hosts => ["192.168.10.12:9200", "192.168.10.13:9200"]index => "apache_error-%{+YYYY.MM.dd}"}}
}cd /etc/logstash/conf.d/
#切換目錄/usr/share/logstash/bin/logstash -f apache_log.conf
#啟動 Logstash 服務并讀取指定的配置文件

5.6 瀏覽器訪問

• 瀏覽器訪問apache服務

• 瀏覽器訪問http://192.168.10.12:9100查看索引是否創(chuàng)建

• 瀏覽器訪問http://192.168.10.12:5601登錄kibana，添加“apache_access、”和“apache_error”索引，查看日志信息。

三、ELFK（Filebeat+ELK）

1、Filebeat的作用

• 由于logstash會大量占用系統(tǒng)的內(nèi)存資源，一般我們會使用filebeat替換logstash收集日志的功能，組成ELFK架構。

• 或用fluentd替代logstash組成EFK（elasticsearch/fluentd/kibana），由于fluentd是由Go語言開發(fā)的，一般在K8S環(huán)境中使用較多。

2、ELFK工作流程

• filebeat將日志收集后交由logstash處理
• logstash進行過濾、格式化等操作，滿足過濾條件的數(shù)據(jù)將發(fā)送給ES
• ES對數(shù)據(jù)進行分片存儲，并提供索引功能
• kibana對數(shù)據(jù)進行圖形化的web展示，并提供索引接口

3、ELFK的部署

3.1 服務器配置

服務器	配置	主機名	ip地址	主要軟件部署
node1節(jié)點	2C/4G	node1	192.168.10.12	ElasticSearch、Kibana
node2節(jié)點	2C/4G	node2	192.168.10.13	ElasticSearch
apache節(jié)點	-	apache	192.168.10.14	Logstash、Apache
filebeat節(jié)點		filebeat	192.168.10.15	Filebeat

• 在ELK的基礎上，增加一臺filebeat服務器，因此只需再前述ELK部署的前提下進一步操作。

3.2 服務器環(huán)境

• filebeat節(jié)點

hostnamectl set-hostname filebeat
su
#修改主機名systemctl stop firewalld
setenforce 0
#關閉防火墻和核心防護

3.3 安裝filebeat

• filebeat節(jié)點

cd /opt
#切換目錄#上傳filebeat-6.6.1-x86_64.rpm安裝包rpm -ivh filebeat-6.6.1-x86_64.rpm
#安裝systemctl daemon-reload
#重新加載systemctl enable elasticsearch.service 
#開機自啟

3.4 修改filebeat主配置文件

• filebeat節(jié)點

cd /etc/filebeat/
#切換目錄cp filebeat.yml filebeat.yml.bak
#備份配置文件#編輯配置文件
vim filebeat.yml
filebeat.inputs:
- type: log
#21行，指定log類型，從日志文件中讀取消息enabled: true#24行，開啟日志收集功能，默認為false- /var/log/*.log#28行，指定監(jiān)控的日志文件- /var/log/messages#29行，添加收集/var/log/messagesfields: #31行，添加以下內(nèi)容，注意格式service_name: filebeatlog_type: logservice_id: 192.168.10.15#-------------------------- Elasticsearch output ------------------------------#該區(qū)域內(nèi)容全部注釋（152行、154行）#----------------------------- Logstash output --------------------------------output.logstash:#165行，取消注釋hosts: ["192.168.10.14:5044"]#167行，取消注釋，指定logstash的IP和端口號systemctl start filebeat.service
#開啟服務systemctl status filebeat.service
#查看狀態(tài)

3.5 在logstash組件所在節(jié)點（apache節(jié)點）上新建一個logstash配置文件

cd /etc/logstash/conf.d/
#切換目錄#修改配置文件
vim logstash.conf
input {beats {port => "5044"}
}
output {elasticsearch {hosts => ["192.168.10.12:9200", "192.168.10.13:9200"]index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"}stdout {codec => rubydebug}
}/usr/share/logstash/bin/logstash -f apache_log.conf
#啟動 Logstash 服務并讀取指定的配置文件（注意此處讀取的配置文件還是apache_log.conf，只能指定使用一個配置的數(shù)據(jù)目錄，否則會報錯）#若是新建索引filebeat不顯示，重啟logstash服務，然后重新啟動logstash并讀取配置文件再次查看

3.6 瀏覽器驗證

• 瀏覽器訪問http://192.168.10.12:9100

• 瀏覽器訪問http://192.168.10.12:5601登錄kibana，
  添加“filebeat-*”索引后在“Discover”中查看filebeat日志收集情況。