falcon-log-agent 是一个开源版的日志采集工具，旨在从流式的日志中抓取、统计日志中的特征信息。获取的特征信息，与开源版Open-Falcon监控系统打通。可用于业务指标的衡量、也可用于稳定性的建设。

Grafana 支持多种数据源，默认的有 Elasticsearch 、 Prometheus 、InfluxDB等，而 Open-falcon 这类的数据源需要使用 Grafana 插件的方式来实现。

对服务器进行监控、对业务指标进行监控，以及各种场景的其它监控在线上业务中都很重要。对数据指标进行可视化，方便对服务状态感知，对业务系统分析。

Grafana 是一个监控的前端展示项目，可以把收集来的指标通过漂亮的图表可视化得展示出来。操作非常简单，还有报警机制，设定指标进行警报。

线上服务产生报错日志，可以第一时间通知到相关的人员可以更快得修复问题，提高服务的可用性。前一篇文件已经实现把所有日志文件收集起来，于是在此只需要获取这份数据，按需要来报警。

项目一多，对于各个项目的日志进行收集分析就变得至关重要。代码产生错误，可以及时通知到相关人员，及早得发现问题，解决问题，减少对线上服务产生的影响。

在 hive 中，要实现某些功能写 SQL 不方便实现时，UDF(User-Defined Function 用户自定义函数) 就出现了。本文主要使用 Python 实现 IP 转地理位置，期间遇到的各种问题也一并记录于此。

使用 Azkaban 提供的 API 实现命令行中查看此任务的依赖关系。当一个任务失败时，可以通过这个命令查看成功了哪些任务、失败了哪些任务。

Azkaban 自动打包上传，job 脚本开发完成后，调用 Azkaban 接口上传。简化了手动打包，手动上传的操作。也可集成到 git 的 web hook 提交代码后或指定操作即执行打包上传操作。

使用 Azkaban 调试任务时，虽说可以在 UI 界面里可以添加参数，在 job 中如何接收这些参数，如何能让 job 可以跑一个时间段而不是一个时间？本文主要说说这两个问题以及我的解决方式。对于大数据朋友使用此功能补数很有帮助。

HTTP server 的 access log 记录着每个请求的基础信息，对这些数据进行分析汇总，可以得到网站请求时间分配、推荐网站、浏览器版本等数据图表。可实时分析每个请求也可在命令行中查看分析结果，为网站分析提供图表支持。

caddy 与 apache 、 nginx 一样是 HTTP server 程序，具有配置简单、自动 HTTPS、默认 HTTP/2 等特性。使用 Golang 编写，单二进制文件没有其它依赖也可以很好的运行。本文以一个例子(短址服务)来介绍 caddy。