正如Google (http://research.google.com/pubs/pub36356.html)和eBay (http://devopsdotcom.files.wordpress.com/2012/11/screen-shot-2012-11-11-at-10-06-39-am.png)中提到的那样,我实现了一个具有树状结构的分布式事务日志库。
日志格式
TIMESTAMP HOSTNAME DATACENTER ENVIRONMENT EVENT_GUID PARENT_GUID TRACE_GUID APPLICATION_ID TREE_LEVEL TRANSACTION_TYPE TRANSACTION_NAME STATUS_CODE DURATION(in ms) PAYLOAD(key1=value2,key2=value2)GUID数字格式
MURMER_HASH(HOSTNAME + DATACENTER + ENVIRONMENT)-JVM_THREAD_ID-(TIME_STAMP+Atomic Counter)我想要做的是将这种格式与Kibana集成起来,当用户想搜索并点击TRACE_GUID时,它将显示类似于显示时间花费在何处的分布式调用图。这是UI http://twitter.github.io/zipkin/。这会很棒的。我不是UI开发人员,如果有人能告诉我如何做这将是伟大的。
此外,我还想知道如何索引弹性搜索有效载荷数据,以便用户指定一些表达式,如在有效载荷(持续时间> 1000),然后,弹性搜索将带来所有的日志线,满足条件。另外,我希望将Payload索引为Name=Value对,这样用户就可以查询某种正则表达式(key3=value2或key4 = exception)。如果能做到这一点,请告诉我。任何帮助指针都是很棒的。
谢谢,Bhavesh
发布于 2015-05-13 02:49:26
在elasticsearch中进行良好搜索的第一步是根据数据创建字段。对于日志,logstash是正确的工具。grok{}过滤器使用模式(现有的或用户定义的regexp)将输入拆分为字段。
您需要确保将其映射到整数(例如,模式中的%{int:工期:int})。然后,您可以在elasticsearch中查询"duration:>1000“以获得结果。
Elasticsearch使用lucene查询引擎,因此您可以在此基础上找到示例查询。
https://stackoverflow.com/questions/23032944
复制相似问题