天道酬勤,学无止境

ELFK

ELFK结合Kafka报错:InstanceAlreadyExistsException

InstanceAlreadyExistsException错误在ELFK集群结合Kafka集群的配置过程中,通过filebet收集日志传输到kafka,然后Kafka传输日志到logstash,最后到elasticsearch,并结合zabbix告警。但在kafka传输日志到logstash的配置完成后,启动logstash时报错:[WARN ][org.apache.kafka.common.utils.AppInfoParser] Error registering AppInfo mbean javax.management.InstanceAlreadyExistsExceptionkafka通过logstash输入到elasticsearch的配置文件:input { kafka { bootstrap_servers => "192.168.1.253:9092" group_id => "webservice" topics => "253-webservice" auto_offset_reset => "latest" consumer_threads => 5 decorate_events => true type => "253_webservice" }}filter { if [type] == "253_ciphermachine" { ruby {

2021-05-18 12:18:20    分类:博客    ELFK   linux

ELFK + Kafka + Zabbix日志收集告警

环境准备角色划分:系统:CentOS 7 es主节点/es数据节点/kibana/head 192.168.1.253 kafka/zookeeper/logstash 192.168.1.253 日志测试/filebeat 192.168.1.253关闭防火墙和selinux:# systemctl stop firewalld && systemctl disable firewalld# sed -i 's/=enforcing/=disabled/g' /etc/selinux/config && setenforce 0配置系统环境:# vim /etc/security/limits.conf* soft nofile 65536 * hard nofile 131072 * soft nproc 2048 * hard nproc 4096# vim /etc/sysctl.confvm.max_map_count=655360# sysctl -p安装Java环境:# tar zxf jdk-8u191-linux-x64.tar.gz && mv jdk1.8.0_191/ /usr/local/jdk# vim /etc/profileJAVA_HOME=/usr/local/jdk PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME

2021-05-18 11:56:46    分类:博客    ELFK   zabbix   kafka

ELFK + Kafka + Zabbix日志监控问题

这次重新部署该架构,同时监控内外网机器的日志(文中ip及域名已做修饰)。在同时监控内外网机器上的日志时,我们加入了kafka,而与filebeat结合时出现了问题,内网机器的日志可以正常收集到,但外网filebeat与内网kafka传输数据之间,通过抓包发现,仍夹杂了kafka的内网地址。这样就导致外网机器的日志无法收集到。假如内网没有固定的外网ip,但有固定的外网域名lzx.linux.cn。修改kafka机器配置:# vim /usr/local/kafka/config/server.propertieslisteners = PLAINTEXT://192.168.1.254:9092 advertised.listeners=PLAINTEXT://lzx.linux.cn:9092advertised.listeners是暴露给外部的listeners,如果没有设置,会用listeners;如果同时存在,advertised.listeners起作用。kafka需要声明内网的外部地址或域名,这样外网的filebeat与内网的kafka之间的通信才没有问题。当内外网机器同时使用kakfa时,需要给kafka设置advertised.listeners,否则kafka与外网机器的通信存在问题。整体架构:logstash/kafka 192.168.1.254

2021-05-18 11:56:30    分类:博客    ELFK   zabbix   kafka