从生产服务器抓取日志文件

Question

我在python中开发了一个在线web服务用户行为研究统计系统，该系统主要依靠从生产服务器读取和分析日志。目前，我在SMB协议下内部共享日志文件夹，以便读取常规分析程序，但对于数据访问方法，我有两个问题，

1. 除了SMB之外，还有其他方式访问日志吗？还是其他策略？
2. 我想很多读可能会阻碍HD的生产和影响正常的日志写入，有解决办法吗？

我希望我能想出一些真实的数字，但目前还没有。有没有人能给我一些更优雅的指导？

Answer 1

如果您愿意使用第三方日志聚合工具，您可以使用以下几个选项：

• http://graylog2.org/
• http://www.logstash.net/
• http://www.octopussy.pm/
• https://github.com/facebook/scribe

此外，如果您登录到syslog -许多常用的syslog守护进程(例如syslog-ng )可以配置为将不同应用程序的日志转发到这些聚合器中的一个或多个。从python应用程序登录到syslog非常简单--标准库中有一个syslog模块。

Answer 2

如果你在中间有一个HTTP服务器(IHS，OHS，我猜Apache也是.)然后，您可以通过URL公开您的物理存储库:您的每个文件也将受益于一个URL，通过这种代码，您可以很容易地下载它们：

import os
import urllib2

# Open our local file for writing
f = urllib2.urlopen(url)
with open(os.path.basename(url), 'wb') as local_file:
    local_file.write(f.read())