Elastic.stack集群部署课程六·Filebeat

Elastic stack 是指由Elasticsearch、Logstash、Kibana和Kafka、Filebeat组成的日志分析平台,即传统的ELK加上Kafka和Filebeat,可以将系统、网站、应用等日志进行收集、过滤、清洗,然后进行集中存放,最终用于实时检索和分析。

本文介绍如何在主机上安装并配置Filebeat。

点击此处访问Filebeat下载地址,本文以7.6.2版本为例,下载后解压并编辑配置文件。

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.2-linux-x86_64.tar.gz
# 下载32位版本
# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.2-linux-x86.tar.gz

以下是CentOS7下yum安装方法:

rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

修改配置/etc/yum.repos.d/filebeat.repo

[elastic-7.x]
name=Elastic repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
yum -y install filebeat

配置Filebeat

将日志输出至kafka,注意行首的空格,修改配置filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access_json.log
#  exclude_lines: ['Info']
#  multiline.pattern: '^\['
#  multiline.negate: true
#  multiline.match: after
#  ignore_older: 3h
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3
#fields:
#  appname: App_Name
output.kafka:
  hosts: ["10.10.200.201:9092","10.10.200.202:9092","10.10.200.203:9092"]
  topic: 'Topic_Name'
  partition.round_robin:
    reachable_only: true
  required_acks: 1
#  compression: gzip
#  max_message_bytes: 1000000
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

启动filebeat

根据实际情况选择启动命令:

# 方式一
systemctl start filebeat
# 方式二
nohup ./filebeat -e -c filebeat.yml >/dev/null 2>&1 &
# 方式三
nohup ./filebeat -e -c filebeat.yml &

建议加入开机自启动,本文略。

常用命令

# 启用kafka模块
./filebeat modules enable kafka

#禁用elasticsearch模块
./filebeat modules disable elasticsearch

至此,Elastic Stack 全套服务已经部署完毕。

原创文章禁止转载:技术学堂 » Elastic.stack集群部署课程六·Filebeat

赞 (0) 打赏

精彩评论

5+8=

感谢您的支持与鼓励

支付宝扫一扫打赏

微信扫一扫打赏