`

log4j集成flume-ng

阅读更多

原文地址:http://www.1-blog.com/?p=38

flume-ng是时下比较流行的日志收集方案,log4j也是java领域内常用的日志组件。那有什么简单的办法把他们结合起来呢?

  • 背景:

通常,我们的应用程序已经在使用log4j来记录日志了,有一天我们的日志需要导入到其他地方(同时文本日志暂时也不想丢),用来分析(hdfs)或者检索(elasticsearch),我们就想到通过一个数据管道来做这件事情,flume似乎是一个不错的选择。

  • 解决方案:
  1. 写log4j日志的同时,集成flume-ng的SDK,同时把日志写到flume中。好处是:日志的内容和格式都可以随便定义
  2. 使用log4j-flume-appender,日志输出到文本的同时,也输出到flume中。好处是:基本不需要更改代码,方便快捷

结合实际考虑,决定采用第二种方式,最快捷

  • 实施步骤:

1. 引入需要的lib包

最简单的方式,当然是使用maven来引入了,同时就把依赖的jar包自动包含了

<dependency>
        <groupId>org.apache.flume.flume-ng-clients</groupId>
        <artifactId>flume-ng-log4jappender</artifactId>
        <version>1.6.0</version>
</dependency>

2. 配置log4j.xml

需要注意,为了避免记录日志对于应用程序的阻塞,最好添加AsyncAppender(所以好像就不能通过property文件来配置log4j了)。

<appender name="flumeAppender" class="org.apache.flume.clients.log4jappender.LoadBalancingLog4jAppender">
        <param name="hosts" value="172.16.113.225:4141 172.16.113.219:4141" />
        <param name="UnsafeMode" value="true" />
        <param name="maxBackoff" value="5000" />
        <param name="timeout" value="3000" />

        <layout class="org.apache.log4j.PatternLayout">
                <param name="ConversionPattern" value="%d [%t] (%F:%L) %-5p %c - %m%n" />
        </layout>
</appender>

<appender name="async" class="org.apache.log4j.AsyncAppender">
        <param name="Blocking" value="false" />
        <param name="BufferSize" value="500"/>
        <appender-ref ref="flumeAppender" />
</appender>

我这里采用了负载均衡的log4jappender,如果是单节点的flume的话,appender修改如下即可:

<appender name="flumeAppender" class="org.apache.flume.clients.log4jappender.Log4jAppender">
        <param name="hostname" value="203.195.236.154" />
        <param name="port" value="8082" />
        <param name="UnsafeMode" value="true" />
        <param name="timeout" value="3000" />
        <layout class="org.apache.log4j.PatternLayout">
                <param name="ConversionPattern" value="%d [%t] (%F:%L) %-5p %c - %m%n" />
        </layout>
</appender>

 

另外需注意:flume-ng-log4jappender对异常部分是忽略掉的,如果想要记录这部分异常信息,需要在log4j.error的时候,把exception信息附加到message中。

详细的参数定义参考下一篇:flume-ng-log4jappender运行机制(源码)分析

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics