系统城装机大师 - 固镇县祥瑞电脑科技销售部宣传站!

当前位置:首页 > 数据库 > Mysql > 详细页面

基于Centos7系统一键部署EFK服务,值得收藏

时间:2020-05-14来源:电脑系统城作者:电脑系统城

最近平台EFK版本均作了升级,平台采用EFK(ElasticSearch-7.6.2 + FileBeat-7.6.2 + Kibana-7.6.2)架构。这里建议三个组件主次版本保持一致。考虑到服务器比较多,所以写成脚本来批量部署。

脚本内容大家看一下function就行了..

架构

EFK采用集中式的日志管理架构

  • elasticsearch:一个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
  • kibana:可以为Logstash 、Beats和ElasticSearch提供友好的日志分析Web 界面,可以帮助汇总、分析和搜索重要数据日志。
  • filebeat:轻量级日志采集器。需要在每个应用服务器配置filebeat,来采集日志,并输出到elasticsearch
基于centos7系统一键部署EFK服务,值得收藏

一键部署KIBANA脚本


 
  1. function install_es7_el7()  
  2.     echo "" 
  3.   echo -e "\033[33m****************************************************安装ElasticSearch 7.6.2*****************************************************\033[0m"  
  4.   #action "********初始化JAVA环境********" /bin/true 
  5.   #install_jdk 
  6.  
  7.   #下载包 
  8.     if [ -f /opt/elasticsearch-7.6.2-x86_64.rpm ] && [ -f /opt/elasticsearch-analysis-ik-7.6.2.zip ] ;then 
  9.         echo "*****存在ElasticSearch 7.6.2安装包,无需下载*****" 
  10.     else 
  11.       ping -c 4 artifacts.elastic.co >/dev/null 2>&1 
  12.       if [ $? -eq 0 ];then 
  13.         wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-x86_64.rpm -O /opt/elasticsearch-7.6.2-x86_64.rpm 
  14.         wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip  -O /opt/elasticsearch-analysis-ik-7.6.2.zip    
  15.       else 
  16.         echo "please download ES7 package manual !" 
  17.         exit $? 
  18.       fi  
  19.   fi 
  20.  
  21.   #安装es7.6  
  22.   action "********安装ElasticSearch 7.6.2服务********" /bin/true 
  23.   chmod u+x /opt/elasticsearch-7.6.2-x86_64.rpm && rpm -ivh /opt/elasticsearch-7.6.2-x86_64.rpm 
  24.    
  25.   #建目录及授权 
  26.   mkdir -p $ES_HOME/data &&  mkdir -p $ES_HOME/log 
  27.   chown -R elasticsearch:elasticsearch $ES_HOME && chmod -R 755 $ES_HOME 
  28.    
  29.   #修改ES配置文件 
  30.   cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml_bak &>/dev/null  
  31. cat > /etc/elasticsearch/elasticsearch.yml << EOF  
  32. cluster.name: es-cluster 
  33. # 设定本机节点名  
  34. node.name: es_node 
  35. # 设定集群主节点清单 
  36. cluster.initial_master_nodes: ["es_node"]  
  37. path.data: ${ES_HOME}/data 
  38. path.logs: ${ES_HOME}/log 
  39. bootstrap.memory_lock: false 
  40. bootstrap.system_call_filter: false 
  41. # 允许从其它机器访问 
  42. network.host: 0.0.0.0 
  43. http.port: ${ES_PORT} 
  44. discovery.zen.ping.unicast.hosts: ["${ES_IP}:${ES_PORT}"] 
  45. EOF 
  46.     
  47.   #安装分词器:ik-analyzer插件 
  48.   #默认情况下,ES使用内置的标准分词器,对文本进行解析。但是对于中文,其会拆解为一个一个的汉字,最终失去了分词的意义,所以安装分词器:ik-analyzer插件 
  49.   action "********安装ik-analyzer插件********" /bin/true 
  50.   mkdir -p /usr/share/elasticsearch/plugins/ik 
  51.   unzip /opt/elasticsearch-analysis-ik-7.6.2.zip -d /usr/share/elasticsearch/plugins/ik/ &>/dev/null  
  52.   chown -R elasticsearch:elasticsearch /usr/share/elasticsearch/plugins/ &&  chmod -R 755  /usr/share/elasticsearch/plugins/ 
  53.   sleep 2 
  54. #在filebeat配置文件中为索引模板添加默认分词器属性。未来新创建的索引均引用此属性: 
  55. #setup.template.settings: 
  56. #  index.analysis.analyzer.default.type: "ik_max_word" 
  57. #  index.analysis.analyzer.default_search.type: "ik_max_word" 
  58. #setup.template.overwrite: true 
  59. #在Linux终端中执行如下命令,为现有所有索引,设置默认分词器属性: 
  60. #curl -X POST "172.16.20.143:9200/_all/_close" 
  61. #curl -X PUT  -H'Content-Type: application/json' 'http://172.16.20.143:9200/_all/_settings?preserve_existing=true' -d '{ 
  62. #  "index.analysis.analyzer.default.type" : "ik_max_word", 
  63. #  "index.analysis.analyzer.default_search.type" : "ik_max_word" 
  64. #}' 
  65. #curl -X POST "172.16.20.143:9200/_all/_open" 
  66.  
  67.  
  68.   #启动ES并初始化数据 
  69.   action "********启动es并初始化数据********" /bin/true 
  70.   systemctl daemon-reload && systemctl enable elasticsearch.service  
  71.   systemctl restart elasticsearch.service 
  72.   es_version=`curl -XGET ${ES_IP}:${ES_PORT}` 
  73.   echo -e "\033[33m**************************************************完成ElasticSearch 7.6.2安装***************************************************\033[0m" 
  74. cat > /tmp/es7.log  << EOF 
  75. ES服务器IP: ${ES_IP} 
  76. ES服务器端口:${ES_PORT} 
  77. ES数据目录: ${ES_HOME}/data 
  78. ES日志目录: ${ES_HOME}/log 
  79. ES详细信息: ${es_version} 
  80. EOF 
  81.   cat /tmp/es7.log 
  82.   echo -e "\e[1;31m 以上信息10秒后消失,保存在/tmp/es7.log文件下 \e[0m" 
  83.   echo -e "\033[33m************************************************************************************************************************\033[0m" 
  84.   echo "" 
  85.   sleep 10 
基于centos7系统一键部署EFK服务,值得收藏

一键部署Elasticsearch脚本


 
  1. function install_es7_el7()  
  2.     echo "" 
  3.   echo -e "\033[33m****************************************************安装ElasticSearch 7.6.2*****************************************************\033[0m"  
  4.   #action "********初始化JAVA环境********" /bin/true 
  5.   #install_jdk 
  6.  
  7.   #下载包 
  8.     if [ -f /opt/elasticsearch-7.6.2-x86_64.rpm ] && [ -f /opt/elasticsearch-analysis-ik-7.6.2.zip ] ;then 
  9.         echo "*****存在ElasticSearch 7.6.2安装包,无需下载*****" 
  10.     else 
  11.       ping -c 4 artifacts.elastic.co >/dev/null 2>&1 
  12.       if [ $? -eq 0 ];then 
  13.         wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-x86_64.rpm -O /opt/elasticsearch-7.6.2-x86_64.rpm 
  14.         wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip  -O /opt/elasticsearch-analysis-ik-7.6.2.zip    
  15.       else 
  16.         echo "please download ES7 package manual !" 
  17.         exit $? 
  18.       fi  
  19.   fi 
  20.  
  21.   #安装es7.6  
  22.   action "********安装ElasticSearch 7.6.2服务********" /bin/true 
  23.   chmod u+x /opt/elasticsearch-7.6.2-x86_64.rpm && rpm -ivh /opt/elasticsearch-7.6.2-x86_64.rpm 
  24.    
  25.   #建目录及授权 
  26.   mkdir -p $ES_HOME/data &&  mkdir -p $ES_HOME/log 
  27.   chown -R elasticsearch:elasticsearch $ES_HOME && chmod -R 755 $ES_HOME 
  28.    
  29.   #修改ES配置文件 
  30.   cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml_bak &>/dev/null  
  31. cat > /etc/elasticsearch/elasticsearch.yml << EOF  
  32. cluster.name: es-cluster 
  33. # 设定本机节点名  
  34. node.name: es_node 
  35. # 设定集群主节点清单 
  36. cluster.initial_master_nodes: ["es_node"]  
  37. path.data: ${ES_HOME}/data 
  38. path.logs: ${ES_HOME}/log 
  39. bootstrap.memory_lock: false 
  40. bootstrap.system_call_filter: false 
  41. # 允许从其它机器访问 
  42. network.host: 0.0.0.0 
  43. http.port: ${ES_PORT} 
  44. discovery.zen.ping.unicast.hosts: ["${ES_IP}:${ES_PORT}"] 
  45. EOF 
  46.     
  47.   #安装分词器:ik-analyzer插件 
  48.   #默认情况下,ES使用内置的标准分词器,对文本进行解析。但是对于中文,其会拆解为一个一个的汉字,最终失去了分词的意义,所以安装分词器:ik-analyzer插件 
  49.   action "********安装ik-analyzer插件********" /bin/true 
  50.   mkdir -p /usr/share/elasticsearch/plugins/ik 
  51.   unzip /opt/elasticsearch-analysis-ik-7.6.2.zip -d /usr/share/elasticsearch/plugins/ik/ &>/dev/null  
  52.   chown -R elasticsearch:elasticsearch /usr/share/elasticsearch/plugins/ &&  chmod -R 755  /usr/share/elasticsearch/plugins/ 
  53.   sleep 2 
  54. #在filebeat配置文件中为索引模板添加默认分词器属性。未来新创建的索引均引用此属性: 
  55. #setup.template.settings: 
  56. #  index.analysis.analyzer.default.type: "ik_max_word" 
  57. #  index.analysis.analyzer.default_search.type: "ik_max_word" 
  58. #setup.template.overwrite: true 
  59. #在Linux终端中执行如下命令,为现有所有索引,设置默认分词器属性: 
  60. #curl -X POST "172.16.20.143:9200/_all/_close" 
  61. #curl -X PUT  -H'Content-Type: application/json' 'http://172.16.20.143:9200/_all/_settings?preserve_existing=true' -d '{ 
  62. #  "index.analysis.analyzer.default.type" : "ik_max_word", 
  63. #  "index.analysis.analyzer.default_search.type" : "ik_max_word" 
  64. #}' 
  65. #curl -X POST "172.16.20.143:9200/_all/_open" 
  66.  
  67.  
  68.   #启动ES并初始化数据 
  69.   action "********启动es并初始化数据********" /bin/true 
  70.   systemctl daemon-reload && systemctl enable elasticsearch.service  
  71.   systemctl restart elasticsearch.service 
  72.   es_version=`curl -XGET ${ES_IP}:${ES_PORT}` 
  73.   echo -e "\033[33m**************************************************完成ElasticSearch 7.6.2安装***************************************************\033[0m" 
  74. cat > /tmp/es7.log  << EOF 
  75. ES服务器IP: ${ES_IP} 
  76. ES服务器端口:${ES_PORT} 
  77. ES数据目录: ${ES_HOME}/data 
  78. ES日志目录: ${ES_HOME}/log 
  79. ES详细信息: ${es_version} 
  80. EOF 
  81.   cat /tmp/es7.log 
  82.   echo -e "\e[1;31m 以上信息10秒后消失,保存在/tmp/es7.log文件下 \e[0m" 
  83.   echo -e "\033[33m************************************************************************************************************************\033[0m" 
  84.   echo "" 
  85.   sleep 10 
基于centos7系统一键部署EFK服务,值得收藏

一键部署filebeat脚本


 
  1. function install_filebeat7_el7()  
  2.     echo "" 
  3.   echo -e "\033[33m****************************************************安装Filebeat 7.6.2*****************************************************\033[0m"  
  4.  
  5.   #下载包 
  6.     if [ -f /opt/filebeat-7.6.2-x86_64.rpm ] ;then 
  7.         echo "*****存在Filebeat 7.6.2安装包,无需下载*****" 
  8.     else 
  9.       ping -c 4 artifacts.elastic.co >/dev/null 2>&1 
  10.       if [ $? -eq 0 ];then 
  11.         wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.2-x86_64.rpm -O /opt/filebeat-7.6.2-x86_64.rpm 
  12.       else 
  13.         echo "please download Filebeat7.6 package manual !" 
  14.         exit $? 
  15.       fi  
  16.   fi 
  17.  
  18.   #安装filebeat7.6  
  19.   action "********安装filebeat 7.6.2服务********" /bin/true 
  20.   chmod u+x /opt/filebeat-7.6.2-x86_64.rpm && rpm -ivh /opt/filebeat-7.6.2-x86_64.rpm 
  21.    
  22.   #修改kibana配置文件 
  23.   cp /etc/filebeat/filebeat.yml /etc/filebeat/filebeat.yml_bak  
  24. cat > /etc/filebeat/filebeat.yml << EOF  
  25. filebeat.inputs: 
  26. - type: log 
  27.   enabled: true 
  28.   paths: 
  29.     - /lcp_logs/*.log 
  30. filebeat.config.modules: 
  31.   path: /etc/filebeat/modules.d/*.yml 
  32.   reload.enabled: false 
  33. setup.template.settings: 
  34.   #number_of_shards  是数据分片数,默认为5,有时候设置为3 
  35.   index.number_of_shards: 3 
  36.   index.analysis.analyzer.default.type: "ik_max_word" 
  37.   index.analysis.analyzer.default_search.type: "ik_max_word" 
  38. setup.template.overwrite: true 
  39. setup.kibana: 
  40.   host: "${KIBANA_IP}:${KIBANA_PORT}" 
  41. output.elasticsearch: 
  42.   hosts: ["${ES_IP}:${ES_PORT}"] 
  43.   ilm.enabled: true 
  44.   ilm.rollover_alias: "fsl_uat.prod1" 
  45.   ilm.pattern: "{now/d}-000001" 
  46. processors: 
  47.   - add_host_metadata: ~ 
  48.   - add_cloud_metadata: ~ 
  49. EOF 
  50.  
  51.   #启动filebeat并初始化数据 
  52.   action "********启动filebeat并初始化数据********" /bin/true 
  53.   systemctl daemon-reload && systemctl enable filebeat.service  
  54.   systemctl restart filebeat.service 
  55.   #nohup ./filebeat -e -c filebeat.yml >/dev/null 2>&1 & 
  56.    
  57.   echo -e "\033[33m**************************************************完成Filebeat 7.6.2安装***************************************************\033[0m" 
  58. cat > /tmp/filebeat7.log << EOF 
  59. filebeat版本:   7.6.2 
  60. filebeat路径:    /usr/bin/filebeat 
  61. filebeat配置kibana: ${KIBANA_IP}:${KIBANA_PORT} 
  62. filebeat配置elasticsearch: ${ES_IP}:${ES_PORT} 
  63. EOF 
  64.   cat /tmp/filebeat7.log 
  65.   echo -e "\e[1;31m 以上信息10秒后消失,保存在/tmp/filebeat7.log文件下 \e[0m" 
  66.   echo -e "\033[33m************************************************************************************************************************\033[0m" 
  67.   echo "" 
  68.   sleep 10 
基于centos7系统一键部署EFK服务,值得收藏
分享到:

相关信息

  • MySQL的核心查询语句详解

    一、单表查询 1、排序 2、聚合函数 3、分组 4、limit 二、SQL约束 1、主键约束 2、非空约束 3、唯一约束 4、外键约束 5、默认值 三、多表查询 1、内连接 1)隐式内连接: 2)显式内连接: 2、外连接 1)左外连接 2)右外连接 四...

    2023-10-30

  • Mysql中如何删除表重复数据

    Mysql删除表重复数据 表里存在唯一主键 没有主键时删除重复数据 Mysql删除表中重复数据并保留一条 准备一张表 用的是mysql8 大家自行更改 创建表并添加四条相同的数据...

    2023-10-30

系统教程栏目

栏目热门教程

人气教程排行

站长推荐

热门系统下载