对于分布式系统,在某些场景下不但需要知道异常发生的位置,可能还需要知道异常发生时的上下游情况。
如果在日志中加入唯一标识来对上下游的信息进行分类,可以简单的满足日常的需要。
有两个开源项目实现了这个需求,分别是:
//TLoghttps://gitee.com/bryan31/TLog.git//日志链路追踪https://gitee.com/ganbing518/trace.git
这两个项目的核心原理其实是一样的,都是通过Slf4j的MDC实现全局...
ELK简单入门-Log4j2
最近正好上项目,又赶上我正在看一本网络小说,所以时间挤都挤不出来了。
今天简单介绍一下日志的输入端,这里使用Log4j2来采集日志。
简单介绍一下SpringBoot和Log4j2的整合:
要排除掉SpringBoot自带的logging日志框架。加入log4j2的starter。
pom文件如下:
<dependency> <groupId>org.springframework.boot</groupId> &nbs...
ELK简单入门 – Logstash配置文件
本文基于的版本如下:
这次主要介绍一下Logstash的配置文件,这关系到数据存储至Elasticsearch时的结构。
本文的数据来源为Kafka,所以不会涉及到其它的数据源。
使用到的插件为:input、filter、output。
配置文件的主体格式如下:
input { #输入}filter {#过滤、格式化数据}output { #输出}
首先,介绍一下input,配置如下:
inpu...
ELK简单入门 – 常见问题总结
上一篇简单总结了一下ELK的部署步骤,本篇总结一下在部署过程中遇到的问题。
首先注意一下,本文基于以下版本:
操作系统为Linux。
因为是简单的入门测试,所以端口等等配置都是默认的,所以Kafka部署时没有遇到太多问题,主要的问题有两个:
1. 需要将config/server.properties内的监听打开,即:
# The address the socket server listens on.&n...
ELK简单入门
关于ELK的总结打算分为多个章节,本章着重介绍一下如何安装部署。
基于的版本如下图所示:
基于的操作系统:Linux
部署的顺序如下:
kafkalogstashelasticsearchkibana
日志的收集顺序也是如此:先由Log4j2压入Kafka,然后通过Logstash进行解析后,存储至Elasticsearch,最后通过Kibana进行可视化展示。
下载的相关地址:
Kafka:http://kafka.apache.org/
另外三个:h...