A-A+

ELK简单入门 – 常见问题总结

2020年09月28日 技术, 默认 暂无评论 阅读 61 次

上一篇简单总结了一下ELK的部署步骤,本篇总结一下在部署过程中遇到的问题。

首先注意一下,本文基于以下版本:

操作系统为Linux。

因为是简单的入门测试,所以端口等等配置都是默认的,所以Kafka部署时没有遇到太多问题,主要的问题有两个:

1. 需要将config/server.properties内的监听打开,即:

# The address the socket server listens on. It will get the value returned from
# java.net.InetAddress.getCanonicalHostName() if not configured.
#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
#     listeners = PLAINTEXT://your.host.name:9092
listeners=PLAINTEXT://:9092

2. Log4j2向Kafka写入数据时,总是报Host异常,这时候需要更改Linux的host文件。

#编辑hosts文件
vi /etc/hosts
#增加主机名和IP映射
172.16.100.70 hostname(你的主机名称)
#重启系统
reboot

3. 可能需要创建Topic,Topic的相关命令如下:

#创建Topic
./kafka-topics.sh --zookeeper localhost:2181 --create --topic topic-test-1 --replication-factor 1 --partitions 1
#查看Topic
./kafka-topics.sh -zookeeper localhost:2181 --describe --topic topic-test-1

Logstatic最麻烦的是config文件,因为需要自己创建,上一篇中已经有一个初步可用的,如果想要更加复杂的就需要了解其配置项。

gork的内置正则表达式可以见:

https://github.com/logstash-plugins/logstash-patterns-core

gork的调试,可以使用Kibana内置的,位置在:

/app/dev_tools#/grokdebugger

Elasticsearch问题比较多:

1. 不允许使用root用户启动,所以需要新建一个用户。

//添加分组
groupadd estest

//添加用户
useradd esuser1 -g estest -p esuser1

//授权elasticsearch目录下的文件拥有者
chown -R esuser1:estest /test/elasticsearch-7.9.1

//切换用户
su esuser1

2. bootstrap checks failed:vm.max_map_count [65530] is too low。

#修改这个文件
vi /etc/sysctl.conf
#增加一行
vm.max_map_count=655360

3. bootstrap checks failed:for elasticsearch process is too low。

#修改这个文件
vi /etc/security/limits.conf
#加两行
* soft nofile 65536
* hard nofile 65536

4. bootstrap checks failed:the default discovery settings are unsuitable for production use。

#修改这个文件
vi elasticsearch.yml
#修改配置
cluster.name: es-test-1
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["es-test-1"]

Kibana遇到的问题最少,只需要修改一下配置文件即可:

#修改这个文件
vi kibana.yml
#修改配置
server.port: 5601
server.host: 0.0.0.0

遇到的问题基本上就这么多,下一篇打算总结一下Logstash的配置文件。

以上,如有错误,欢迎指正。

参考以下资料:

https://www.jianshu.com/p/f82a3db65ca6
https://blog.csdn.net/weixin_39800144/article/details/81162002
https://www.cnblogs.com/TJ21/p/12638320.html
觉的不错?可以关注我的公众号↑↑↑
标签:
哼哼的泰迪熊

给我留言

Copyright © 字痕随行 保留所有权利.   Theme  Ality 京ICP备14039894号

用户登录

分享到: