基于Centos7系统一键部署EFK服务，值得收藏

最近平台EFK版本均作了升级，平台采用EFK(ElasticSearch-7.6.2 + FileBeat-7.6.2 + Kibana-7.6.2)架构。这里建议三个组件主次版本保持一致。考虑到服务器比较多，所以写成脚本来批量部署。

脚本内容大家看一下function就行了..

架构

EFK采用集中式的日志管理架构

• elasticsearch：一个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
• kibana：可以为Logstash 、Beats和ElasticSearch提供友好的日志分析Web 界面，可以帮助汇总、分析和搜索重要数据日志。
• filebeat：轻量级日志采集器。需要在每个应用服务器配置filebeat，来采集日志，并输出到elasticsearch

一键部署KIBANA脚本

1. function install_es7_el7()  
2. { 
3.     echo "" 
4.   echo -e "\033[33m****************************************************安装ElasticSearch 7.6.2*****************************************************\033[0m"  
5.   #action "********初始化JAVA环境********" /bin/true 
6.   #install_jdk 
7.  
8.   #下载包 
9.     if [ -f /opt/elasticsearch-7.6.2-x86_64.rpm ] && [ -f /opt/elasticsearch-analysis-ik-7.6.2.zip ] ;then 
10.         echo "*****存在ElasticSearch 7.6.2安装包，无需下载*****" 
11.     else 
12.       ping -c 4 artifacts.elastic.co >/dev/null 2>&1 
13.       if [ $? -eq 0 ];then 
14.         wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-x86_64.rpm -O /opt/elasticsearch-7.6.2-x86_64.rpm 
15.         wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip  -O /opt/elasticsearch-analysis-ik-7.6.2.zip    
16.       else 
17.         echo "please download ES7 package manual !" 
18.         exit $? 
19.       fi  
20.   fi 
21.  
22.   #安装es7.6  
23.   action "********安装ElasticSearch 7.6.2服务********" /bin/true 
24.   chmod u+x /opt/elasticsearch-7.6.2-x86_64.rpm && rpm -ivh /opt/elasticsearch-7.6.2-x86_64.rpm 
25.    
26.   #建目录及授权 
27.   mkdir -p $ES_HOME/data &&  mkdir -p $ES_HOME/log 
28.   chown -R elasticsearch:elasticsearch $ES_HOME && chmod -R 755 $ES_HOME 
29.    
30.   #修改ES配置文件 
31.   cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml_bak &>/dev/null  
32. cat > /etc/elasticsearch/elasticsearch.yml << EOF  
33. cluster.name: es-cluster 
34. # 设定本机节点名  
35. node.name: es_node 
36. # 设定集群主节点清单 
37. cluster.initial_master_nodes: ["es_node"]  
38. path.data: ${ES_HOME}/data 
39. path.logs: ${ES_HOME}/log 
40. bootstrap.memory_lock: false 
41. bootstrap.system_call_filter: false 
42. # 允许从其它机器访问 
43. network.host: 0.0.0.0 
44. http.port: ${ES_PORT} 
45. discovery.zen.ping.unicast.hosts: ["${ES_IP}:${ES_PORT}"] 
46. EOF 
47.     
48.   #安装分词器：ik-analyzer插件 
49.   #默认情况下，ES使用内置的标准分词器，对文本进行解析。但是对于中文，其会拆解为一个一个的汉字，最终失去了分词的意义，所以安装分词器：ik-analyzer插件 
50.   action "********安装ik-analyzer插件********" /bin/true 
51.   mkdir -p /usr/share/elasticsearch/plugins/ik 
52.   unzip /opt/elasticsearch-analysis-ik-7.6.2.zip -d /usr/share/elasticsearch/plugins/ik/ &>/dev/null  
53.   chown -R elasticsearch:elasticsearch /usr/share/elasticsearch/plugins/ &&  chmod -R 755  /usr/share/elasticsearch/plugins/ 
54.   sleep 2 
55. #在filebeat配置文件中为索引模板添加默认分词器属性。未来新创建的索引均引用此属性: 
56. #setup.template.settings: 
57. #  index.analysis.analyzer.default.type: "ik_max_word" 
58. #  index.analysis.analyzer.default_search.type: "ik_max_word" 
59. #setup.template.overwrite: true 
60. #在Linux终端中执行如下命令，为现有所有索引，设置默认分词器属性: 
61. #curl -X POST "172.16.20.143:9200/_all/_close" 
62. #curl -X PUT  -H'Content-Type: application/json' 'http://172.16.20.143:9200/_all/_settings?preserve_existing=true' -d '{ 
63. #  "index.analysis.analyzer.default.type" : "ik_max_word", 
64. #  "index.analysis.analyzer.default_search.type" : "ik_max_word" 
65. #}' 
66. #curl -X POST "172.16.20.143:9200/_all/_open" 
67.  
68.  
69.   #启动ES并初始化数据 
70.   action "********启动es并初始化数据********" /bin/true 
71.   systemctl daemon-reload && systemctl enable elasticsearch.service  
72.   systemctl restart elasticsearch.service 
73.   es_version=`curl -XGET ${ES_IP}:${ES_PORT}` 
74.   echo -e "\033[33m**************************************************完成ElasticSearch 7.6.2安装***************************************************\033[0m" 
75. cat > /tmp/es7.log  << EOF 
76. ES服务器IP： ${ES_IP} 
77. ES服务器端口:${ES_PORT} 
78. ES数据目录： ${ES_HOME}/data 
79. ES日志目录： ${ES_HOME}/log 
80. ES详细信息： ${es_version} 
81. EOF 
82.   cat /tmp/es7.log 
83.   echo -e "\e[1;31m 以上信息10秒后消失，保存在/tmp/es7.log文件下 \e[0m" 
84.   echo -e "\033[33m************************************************************************************************************************\033[0m" 
85.   echo "" 
86.   sleep 10 
87. } 

一键部署Elasticsearch脚本

1. function install_es7_el7()  
2. { 
3.     echo "" 
4.   echo -e "\033[33m****************************************************安装ElasticSearch 7.6.2*****************************************************\033[0m"  
5.   #action "********初始化JAVA环境********" /bin/true 
6.   #install_jdk 
7.  
8.   #下载包 
9.     if [ -f /opt/elasticsearch-7.6.2-x86_64.rpm ] && [ -f /opt/elasticsearch-analysis-ik-7.6.2.zip ] ;then 
10.         echo "*****存在ElasticSearch 7.6.2安装包，无需下载*****" 
11.     else 
12.       ping -c 4 artifacts.elastic.co >/dev/null 2>&1 
13.       if [ $? -eq 0 ];then 
14.         wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-x86_64.rpm -O /opt/elasticsearch-7.6.2-x86_64.rpm 
15.         wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip  -O /opt/elasticsearch-analysis-ik-7.6.2.zip    
16.       else 
17.         echo "please download ES7 package manual !" 
18.         exit $? 
19.       fi  
20.   fi 
21.  
22.   #安装es7.6  
23.   action "********安装ElasticSearch 7.6.2服务********" /bin/true 
24.   chmod u+x /opt/elasticsearch-7.6.2-x86_64.rpm && rpm -ivh /opt/elasticsearch-7.6.2-x86_64.rpm 
25.    
26.   #建目录及授权 
27.   mkdir -p $ES_HOME/data &&  mkdir -p $ES_HOME/log 
28.   chown -R elasticsearch:elasticsearch $ES_HOME && chmod -R 755 $ES_HOME 
29.    
30.   #修改ES配置文件 
31.   cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml_bak &>/dev/null  
32. cat > /etc/elasticsearch/elasticsearch.yml << EOF  
33. cluster.name: es-cluster 
34. # 设定本机节点名  
35. node.name: es_node 
36. # 设定集群主节点清单 
37. cluster.initial_master_nodes: ["es_node"]  
38. path.data: ${ES_HOME}/data 
39. path.logs: ${ES_HOME}/log 
40. bootstrap.memory_lock: false 
41. bootstrap.system_call_filter: false 
42. # 允许从其它机器访问 
43. network.host: 0.0.0.0 
44. http.port: ${ES_PORT} 
45. discovery.zen.ping.unicast.hosts: ["${ES_IP}:${ES_PORT}"] 
46. EOF 
47.     
48.   #安装分词器：ik-analyzer插件 
49.   #默认情况下，ES使用内置的标准分词器，对文本进行解析。但是对于中文，其会拆解为一个一个的汉字，最终失去了分词的意义，所以安装分词器：ik-analyzer插件 
50.   action "********安装ik-analyzer插件********" /bin/true 
51.   mkdir -p /usr/share/elasticsearch/plugins/ik 
52.   unzip /opt/elasticsearch-analysis-ik-7.6.2.zip -d /usr/share/elasticsearch/plugins/ik/ &>/dev/null  
53.   chown -R elasticsearch:elasticsearch /usr/share/elasticsearch/plugins/ &&  chmod -R 755  /usr/share/elasticsearch/plugins/ 
54.   sleep 2 
55. #在filebeat配置文件中为索引模板添加默认分词器属性。未来新创建的索引均引用此属性: 
56. #setup.template.settings: 
57. #  index.analysis.analyzer.default.type: "ik_max_word" 
58. #  index.analysis.analyzer.default_search.type: "ik_max_word" 
59. #setup.template.overwrite: true 
60. #在Linux终端中执行如下命令，为现有所有索引，设置默认分词器属性: 
61. #curl -X POST "172.16.20.143:9200/_all/_close" 
62. #curl -X PUT  -H'Content-Type: application/json' 'http://172.16.20.143:9200/_all/_settings?preserve_existing=true' -d '{ 
63. #  "index.analysis.analyzer.default.type" : "ik_max_word", 
64. #  "index.analysis.analyzer.default_search.type" : "ik_max_word" 
65. #}' 
66. #curl -X POST "172.16.20.143:9200/_all/_open" 
67.  
68.  
69.   #启动ES并初始化数据 
70.   action "********启动es并初始化数据********" /bin/true 
71.   systemctl daemon-reload && systemctl enable elasticsearch.service  
72.   systemctl restart elasticsearch.service 
73.   es_version=`curl -XGET ${ES_IP}:${ES_PORT}` 
74.   echo -e "\033[33m**************************************************完成ElasticSearch 7.6.2安装***************************************************\033[0m" 
75. cat > /tmp/es7.log  << EOF 
76. ES服务器IP： ${ES_IP} 
77. ES服务器端口:${ES_PORT} 
78. ES数据目录： ${ES_HOME}/data 
79. ES日志目录： ${ES_HOME}/log 
80. ES详细信息： ${es_version} 
81. EOF 
82.   cat /tmp/es7.log 
83.   echo -e "\e[1;31m 以上信息10秒后消失，保存在/tmp/es7.log文件下 \e[0m" 
84.   echo -e "\033[33m************************************************************************************************************************\033[0m" 
85.   echo "" 
86.   sleep 10 
87. } 

一键部署filebeat脚本

1. function install_filebeat7_el7()  
2. { 
3.     echo "" 
4.   echo -e "\033[33m****************************************************安装Filebeat 7.6.2*****************************************************\033[0m"  
5.  
6.   #下载包 
7.     if [ -f /opt/filebeat-7.6.2-x86_64.rpm ] ;then 
8.         echo "*****存在Filebeat 7.6.2安装包，无需下载*****" 
9.     else 
10.       ping -c 4 artifacts.elastic.co >/dev/null 2>&1 
11.       if [ $? -eq 0 ];then 
12.         wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.2-x86_64.rpm -O /opt/filebeat-7.6.2-x86_64.rpm 
13.       else 
14.         echo "please download Filebeat7.6 package manual !" 
15.         exit $? 
16.       fi  
17.   fi 
18.  
19.   #安装filebeat7.6  
20.   action "********安装filebeat 7.6.2服务********" /bin/true 
21.   chmod u+x /opt/filebeat-7.6.2-x86_64.rpm && rpm -ivh /opt/filebeat-7.6.2-x86_64.rpm 
22.    
23.   #修改kibana配置文件 
24.   cp /etc/filebeat/filebeat.yml /etc/filebeat/filebeat.yml_bak  
25. cat > /etc/filebeat/filebeat.yml << EOF  
26. filebeat.inputs: 
27. - type: log 
28.   enabled: true 
29.   paths: 
30.     - /lcp_logs/*.log 
31. filebeat.config.modules: 
32.   path: /etc/filebeat/modules.d/*.yml 
33.   reload.enabled: false 
34. setup.template.settings: 
35.   #number_of_shards  是数据分片数，默认为5，有时候设置为3 
36.   index.number_of_shards: 3 
37.   index.analysis.analyzer.default.type: "ik_max_word" 
38.   index.analysis.analyzer.default_search.type: "ik_max_word" 
39. setup.template.overwrite: true 
40. setup.kibana: 
41.   host: "${KIBANA_IP}:${KIBANA_PORT}" 
42. output.elasticsearch: 
43.   hosts: ["${ES_IP}:${ES_PORT}"] 
44.   ilm.enabled: true 
45.   ilm.rollover_alias: "fsl_uat.prod1" 
46.   ilm.pattern: "{now/d}-000001" 
47. processors: 
48.   - add_host_metadata: ~ 
49.   - add_cloud_metadata: ~ 
50. EOF 
51.  
52.   #启动filebeat并初始化数据 
53.   action "********启动filebeat并初始化数据********" /bin/true 
54.   systemctl daemon-reload && systemctl enable filebeat.service  
55.   systemctl restart filebeat.service 
56.   #nohup ./filebeat -e -c filebeat.yml >/dev/null 2>&1 & 
57.    
58.   echo -e "\033[33m**************************************************完成Filebeat 7.6.2安装***************************************************\033[0m" 
59. cat > /tmp/filebeat7.log << EOF 
60. filebeat版本：   7.6.2 
61. filebeat路径:    /usr/bin/filebeat 
62. filebeat配置kibana： ${KIBANA_IP}:${KIBANA_PORT} 
63. filebeat配置elasticsearch： ${ES_IP}:${ES_PORT} 
64. EOF 
65.   cat /tmp/filebeat7.log 
66.   echo -e "\e[1;31m 以上信息10秒后消失，保存在/tmp/filebeat7.log文件下 \e[0m" 
67.   echo -e "\033[33m************************************************************************************************************************\033[0m" 
68.   echo "" 
69.   sleep 10 
70. }