ELK+Kafka+Filebeat企業(yè)內(nèi)部日志分析系統(tǒng)(1)

Elasticsearch集群部署

1.部署環(huán)境

IP地址	主機(jī)名	配置	系統(tǒng)版本
192.168.222.129	es1	2核4G	RockyLinux
192.168.222.130	es2	2核3G	RockyLinux
192.168.222.131	es3	2核3G	RockyLinux

2.配置主機(jī)名解析和主機(jī)名

#關(guān)閉防火墻與selinux
#更改主機(jī)名(三臺(tái)機(jī)器均操作)
[root@localhost ~]# hostnamectl set-hostname es1
#添加主機(jī)名解析
[root@es1 ~]# vim /etc/hosts
192.168.222.129 es1
192.168.222.130 es2
192.168.222.131 es3

3.相關(guān)地址

官方地址:https://www.elastic.co

官網(wǎng)搭建:https://www.elastic.co/guide/index.html

4.安裝配置ES

1.創(chuàng)建運(yùn)行ES的普通用戶(hù)

[root@es1 ~]# useradd es
[root@es1 ~]# echo "123" |passwd --stadin "es"

2.安裝配置ES

#這里已經(jīng)把包傳到服務(wù)器
[root@es1 ~]# ls
anaconda-ks.cfg  elasticsearch-7.13.2-linux-x86_64.tar.gz  kibana-7.13.2-linux-x86_64.tar.gz  node-v10.0.0-linux-x64.tar.gz
[root@es1 ~]# tar xf elasticsearch-7.13.2-linux-x86_64.tar.gz -C /usr/local/
[root@es1 ~]# cd /usr/local
[root@es1 local]# mv elasticsearch-7.13.2-linux-x86_64.tar.gz/ es
#修改配置文件(刪除里面注釋添加以下內(nèi)容)
[root@es1 local]# vim /es/config/elasticsearch.yml
cluster.name: bjbpe01-elk
cluster.initial_master_nodes：["es1","es2","es3"]
node.name: es1
node.master: true
node.data: true
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["es2","es3"]
discovery.zen.minimum_master_nodes: 2
discovery.zen.ping_timeout: 150s
discovery.zen.fd.ping_retries: 10
client.transport.ping_timeout: 60s
http.cors.enabled: true
http.cors.allow-origin: "*"

3. 設(shè)置JVM堆大小

[root@es1 local]# sed -i 's/## -Xms4g/-Xms4g/' /usr/local/es/config/jvm.options
[root@es1 local]# sed -i 's/## -Xmx4g/-Xmx4g/' /usr/local/es/config/jvm.options

4.創(chuàng)建ES數(shù)據(jù)及日志存儲(chǔ)目錄

#(三臺(tái)機(jī)器均操作)
[root@es1 local]# mkdir -p /data/elasticsearch/data
[root@es1 local]# mkdir -p /data/elasticsearch/logs

5.修改安裝目錄及權(quán)限

#(三臺(tái)機(jī)器均操作)
[root@es1 local]# chown -R es.es /data/elasticsearch
[root@es1 local]# chown -R es.es /usr/local/es

6.系統(tǒng)優(yōu)化(三臺(tái)機(jī)器均操作)

1.增加最大文件打開(kāi)數(shù)

永久生效方法:

[root@es1 local]# echo "* soft nofile 65536" >> /etc/security/limits.conf

2.增加最大進(jìn)程數(shù)

[root@es1 local]# echo "* soft nproc 65536" >> /etc/security/limits.conf

3.增加最大內(nèi)存映射數(shù)

[root@es1 local]# echo "vm.max_map_count=262144" >> /etc/sysctl.conf
[root@es1 local]# sysctl -p 

5.啟動(dòng)ES

[root@es1 local]# cd es
[root@es1 es]# su es
[es@es1 es]$ bin/elasticsearch

6.安裝配置head監(jiān)控插件

• 服務(wù)器

安裝軟件	主機(jī)名	IP地址	系統(tǒng)版本	配置
Elasticsearch-head-master	es1	192.168.222.129	RockyLinux	2核4G

1.安裝node

[root@es1 ~]# 123.txt  anaconda-ks.cfg  elasticsearch-7.13.2-linux-x86_64.tar.gz  kibana-7.13.2-linux-x86_64.tar.gz  node-v10.0.0-linux-x64.tar.gz
[root@es1 ~]# tar xf node-v10.0.0-linux-x64.tar.gz -C /usr/local
[root@es1 ~]# vim /etc/preofile
NODE_HOME=/usr/local/node-v10.0.0-linux-x64
PATH=$NODE_HOME/bin:$PATH
export NODE_HOME PATH
[root@es1 ~]# source /etc/profile
[root@es1 ~]# node --version

2.下載head插件

[root@es1 ~]# wget https://github.com/mobz/elasticsearch-head/archive/master.zip
[root@es1 ~]# yum -y install unzip
[root@es1 ~]# unzip -d /usr/local elasticsearch-head-master.zip

3.安裝grunt

[root@es1 ~]# cd /usr/local/elasticsearch-head-master
[root@es1 elasticsearch-head-master]# npm install -g grunt-cli
#檢查版本號(hào)
[root@es1 elasticsearch-head-master]# grunt -version

5.修改head源碼

#修改成以下內(nèi)容
[root@es1 ~]# vim /usr/local/elasticsearch-head-master/Gruntfile.js  +99port: 9100,base: '.',keepalive: true,hostname: '*'
[root@elk ~]# vim /usr/local/elasticsearch-head-master/_site/app.js +4388this._super();this.prefs = services.Preferences.instance();this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.222.129:9200";

6.下載head必要的文件

[root@elk ~]# wget https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@elk ~]# yum -y install bzip2
[root@elk ~]# mkdir /tmp/phantomjs
[root@elk ~]# mv phantomjs-2.1.1-linux-x86_64.tar.bz2 /tmp/phantomjs/
[root@elk ~]# chmod 777 /tmp/phantomjs -R

7.運(yùn)行head

[root@elk ~]# cd /usr/local/elasticsreach-head-master
[root@elk elasticsreach-head-master]# npm install
#上一行報(bào)錯(cuò)執(zhí)行以下命令
[root@elk elasticsreach-head-master]# npm install phantomjs-prebuilt@2.1.16 --ignore-scripts
[root@elk elasticsreach-head-master]# nohup grunt server &
[root@elk elasticsreach-head-master]# ss -ntlp

7.部署kibana

安裝軟件	主機(jī)名	IP地址	系統(tǒng)版本	配置
kibana	es1	192.168.222.129	RockyLinux	2核4G

1.安裝kibana

[root@es1 ~]# tar zxf kibana-7.13.2-linux-x86_64.tar.gz -C /usr/local

4.配置文件

[root@es1 ~]# cd /usr/local
[root@es1 local]# vim kibana-7.13.2-linux-x86_64/config/kibana.yml
server.port: 5601
server.host: "192.168.222.129"
elasticsearch.hosts: ["http://192.168.222.129:9200"]
kibana.index: ".kibana"
i18n.locale: "zh-CN"
[root@es1 local]# cd kibana-7.13.2-linux-x86_64/
[root@es1 kibana-7.13.2-linux-x86_64]# ./bin/kibana --allow-root