A-A+
ELK简单入门 – 常见问题总结
上一篇简单总结了一下ELK的部署步骤,本篇总结一下在部署过程中遇到的问题。
首先注意一下,本文基于以下版本:

操作系统为Linux。
因为是简单的入门测试,所以端口等等配置都是默认的,所以Kafka部署时没有遇到太多问题,主要的问题有两个:
1. 需要将config/server.properties内的监听打开,即:
# The address the socket server listens on. It will get the value returned from
# java.net.InetAddress.getCanonicalHostName() if not configured.
# FORMAT:
# listeners = listener_name://host_name:port
# EXAMPLE:
# listeners = PLAINTEXT://your.host.name:9092
listeners=PLAINTEXT://:9092
2. Log4j2向Kafka写入数据时,总是报Host异常,这时候需要更改Linux的host文件。
#编辑hosts文件
vi /etc/hosts
#增加主机名和IP映射
172.16.100.70 hostname(你的主机名称)
#重启系统
reboot
3. 可能需要创建Topic,Topic的相关命令如下:
#创建Topic
./kafka-topics.sh --zookeeper localhost:2181 --create --topic topic-test-1 --replication-factor 1 --partitions 1
#查看Topic
./kafka-topics.sh -zookeeper localhost:2181 --describe --topic topic-test-1
Logstatic最麻烦的是config文件,因为需要自己创建,上一篇中已经有一个初步可用的,如果想要更加复杂的就需要了解其配置项。
gork的内置正则表达式可以见:
https://github.com/logstash-plugins/logstash-patterns-core
gork的调试,可以使用Kibana内置的,位置在:
/app/dev_tools#/grokdebugger
Elasticsearch问题比较多:
1. 不允许使用root用户启动,所以需要新建一个用户。
//添加分组
groupadd estest
//添加用户
useradd esuser1 -g estest -p esuser1
//授权elasticsearch目录下的文件拥有者
chown -R esuser1:estest /test/elasticsearch-7.9.1
//切换用户
su esuser1
2. bootstrap checks failed:vm.max_map_count [65530] is too low。
#修改这个文件
vi /etc/sysctl.conf
#增加一行
vm.max_map_count=655360
3. bootstrap checks failed:for elasticsearch process is too low。
#修改这个文件
vi /etc/security/limits.conf
#加两行
* soft nofile 65536
* hard nofile 65536
4. bootstrap checks failed:the default discovery settings are unsuitable for production use。
#修改这个文件
vi elasticsearch.yml
#修改配置
cluster.name: es-test-1
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["es-test-1"]
Kibana遇到的问题最少,只需要修改一下配置文件即可:
#修改这个文件
vi kibana.yml
#修改配置
server.port: 5601
server.host: 0.0.0.0
遇到的问题基本上就这么多,下一篇打算总结一下Logstash的配置文件。
以上,如有错误,欢迎指正。
参考以下资料:
https://www.jianshu.com/p/f82a3db65ca6
https://blog.csdn.net/weixin_39800144/article/details/81162002
https://www.cnblogs.com/TJ21/p/12638320.html
