本文是基于ruby-china上提出的开源日志收集方案所作的实践
方案的提出在这篇:
李华顺: InfluxDB + Grafana 快速搭建自己的 NewRelic,分析应用运行情况
安装
InfluxDB
用HomeBrew
Grafana
Fluentd
因为我们依赖于Fluentd
做日志收集,我们后台用的ruby,所以直接用gem安装就好了
收集打点
huacnLee的方案中,主要是对Rails提供的web服务的监控,所以只需要用到ActiveSupport::Notifications.subscribe
订阅Controller::Action就好
在我们的后台主要是Grape提供API服务,所以我们需要利用Rack和Grape的中间件机制,插入到API运行的过程中,获取运行数据
如果是直接让Service把数据导入到influxdb在高并发下可能会有效率问题,所以采用各个Service先写log文件,Fluentd采集数据,上传数据库的方式
日志记录我们用最简单的Ruby自带的Logger就行了,当然还有其他方案,只要最后输出JSON就行了
Rack
在这一层面上,我们不需要自己统计运行时间,我们只需要拿到ResponseHeader
中的X-Runtime
就行了
当然你需要把你的中间件插入到Rails的RackStack里面,注意顺序,由于RackMiddlewares的结构是栈,FILO,需要插到Runtime插件之上
Grape
这里有一点需要注意,可能你发现有时候Rack记到了点,但是Grape没有记录到,因为如果你需要在Grape中在半路不显示return,但需要结束整个api调用
所以你用了error!(hash,status)
方法
该方法是Grape::DSL
提供的内置方法,他会抛出一个:error
,所以你的收集代码运行,就被catch住了
订阅日志
我们用Fluentd内置的input插件来收集,输出需要安装fluent-plugin-influxdb的插件
安装:
注意最后可能你的安装版本略旧,怎么也没法上传,这时候用源码替换一下
配置
我们用tail方式监听文件变动,该插件是一个基于buffered的fluentd插件,默认flush时间是60秒,所以结果并非是实时的
Grafana
按之前的帖子配置一下Grafana
就能看到界面,里面的图按照自己的需求画就行了,这块就比较简单了
总结
整个方案比较轻量级,比之Flume-ng + Apache-Avro + MQ + Kafka + Storm/Hadoop + Kibana
要容易很多
我觉得比较适合后端是Ruby的项目,在收集器这方面我只是做了一些尝试,具体可以参考
newrelic/rpm
Measuring Performance in Grape APIs With NewRelic RPM
xinminlabs/newrelic-grape
stevebartholomew/newrelic_moped
以上包括了Grape层面的记录,数据库查询等的记录等
数据有了,分析的方法可能还比较局限,包括InfluxDB本身还不完善,主要还是适用于时间序列的分析
方案离实践还比较远,还需要做很多工作,本文权当抛砖引玉