使用OneApm CI SDK实现业务响应速度监控

尘缘linux

目前负责的业务处于急速扩张期，每周会增加几台服务器，业务日访问量在5000万左右。

目前的监控需求在可用性和响应速度。运营的需求要求每次接口响应控制在0.1-0.5s内。

在现在的基础监控中，可以分析出http业务的可用性，但没法监控具体的响应时间。
最开始使用的方法为在后端添加serverId和处理时间并放到http header中，通过curl去获得后端信息和处理时间，采样后生成报表。
听起来就比较复杂。
再后来，改成通过nginx记录upstream的response time，采样生成可视化。
由于nginx日志分布于不同的机器中，收集数据相对来讲还是比较麻烦的。

后来将一部分监控迁到OneAPM上，折腾一段时间以后，无意中发现了CI有一个SDK，学习了一下，发现可以实现一些业务层的监控。
经过一段时间的试验，发现CI SDK使用起来非常方便，能方便的接入丰富的业务数据。

其实现的原理为隔一段时间采样一个数据，上报给CI，CI会根据输入的数值，生成线性报表。
下面是一些使用的经验，分享给大家。

以下是抄了OneApm的官方介绍，供参考。

==============================

OneApm CI是什么
http://docs-ci.oneapm.com/

Cloud Insight SDK For Python
http://docs-ci.oneapm.com/api/python.html

Cloud Insight 集成了数十种互联网流行基础组件的监控，开箱即用，您只需要进行最小化的配置就可以实现复杂的基础组件监控， 免除了传统基础组件监控中的复杂流程。Cloud Insight 采集这些基础组件的权威指标，所有指标都是标准化的格式，您再也不需要 自己定义各种指标，以及思考如何进行各种指标的组合展示，一切就只有两步，安装探针，查看仪表盘，如果您使用的是阿里云、UCloud 等云厂商，甚至不需要安装探针，Cloud Insight 会直接通过这些云厂商提供的 API 收集服务器以及基础组件的性能和健康情况的 指标，并友好的展示在定义好的仪表盘中。

OneApm CI还提供了SDK，可以实现自定义的业务数据监控，比如业务的订单趋势，响应速度曲线等。配合CI的丰富报表功能，非常轻松的实现自定义业务监控。

==============================

按照文档，安装CI, 及CI SDK，这里不再赘述。
step 1, OneAPM CI Agent 安装
step 2, OneApm CI SDK For Python安装
step 3, 编写一段简单的python 代码

[python]
#!/usr/bin/env python
# -*- coding:utf8 -*-

import commands
import socket
from oneapm_ci_sdk import statsd

hostname = socket.gethostname()
error, result = commands.getstatusoutput(""" tail /opt/dataroot/nginx/access.log |grep "download" | awk -F ‘" "’ ‘{print $7}’ """)
if ( error == 0 ):
code = result.split("\n")
statsd.gauge(‘php_response_time.download.%s’ % hostname, float( max(code) ) )
print ‘php_response_time.%s : %04f’ % ( hostname, float(max(code)) )
[/python]

上述代码实现的逻辑为调用系统命令，获取nginx中，php的responsetime，从几个响应时间中取最大值。

step 4, 部署收集数据
[shell]
#获取Nginx Upstream response time
* * * * * for i in $(seq 3); do sleep 15; python /opt/ci_check_php_response_time.py; done
[/shell]

添加上述计划任务，每秒统计三次响应最慢的请求。由于默认的系统计划任务无法实现按秒制定任务，通过sleep间接实现。

step 5, 查看报表

进入 https://cloud.oneapm.com/dashboard#/，在最右下角找到自定义仪表盘，
效果如下：

QQ20160318-0

根据官方文档的说明，未来还会开放不需要SDK的API，非常适合做一些私有业务的监控和告警，非常期待。

Cloud Insight API

API 提供了更加强大的功能，您可以不受任何约束的发送符合Cloud Insight数据格式标准的任意数据，无论本机是否安装了Cloud Insight Agent。目前API正在开发之中。

在几个月的使用中，OneApm CI和AI，给我们提供了非常多的帮助，慢慢的使用才发现OneApm的强大，感谢 OneApm 志利在使用过程中给我们的帮助，不管是晚上还是周末，响应速度非常快，非常感动。
下次分享一下在使用AI的过程中，通过AI定位ThinkPHP中Redis连接异常的一个故障处理。

Update:

CI在这个月发布了新版，也提供了新的PHPSDK，可以愉快的从之前的python sdk切过来了。同时，也增加了仪表盘分享功能。