首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >分布式跟踪测井及其与Logstash、Kibana和ElasticSearch的集成

问分布式跟踪测井及其与Logstash、Kibana和ElasticSearch的集成
EN

Stack Overflow用户
提问于 2014-04-12 16:18:18
回答 1查看 2.8K关注 0票数 4

正如Google (http://research.google.com/pubs/pub36356.html)和eBay (http://devopsdotcom.files.wordpress.com/2012/11/screen-shot-2012-11-11-at-10-06-39-am.png)中提到的那样,我实现了一个具有树状结构的分布式事务日志库。

日志格式

代码语言:javascript
复制
TIMESTAMP   HOSTNAME  DATACENTER  ENVIRONMENT  EVENT_GUID PARENT_GUID TRACE_GUID APPLICATION_ID TREE_LEVEL TRANSACTION_TYPE TRANSACTION_NAME STATUS_CODE DURATION(in ms) PAYLOAD(key1=value2,key2=value2)

GUID数字格式

代码语言:javascript
复制
MURMER_HASH(HOSTNAME + DATACENTER + ENVIRONMENT)-JVM_THREAD_ID-(TIME_STAMP+Atomic Counter)

我想要做的是将这种格式与Kibana集成起来,当用户想搜索并点击TRACE_GUID时,它将显示类似于显示时间花费在何处的分布式调用图。这是UI http://twitter.github.io/zipkin/。这会很棒的。我不是UI开发人员,如果有人能告诉我如何做这将是伟大的。

此外,我还想知道如何索引弹性搜索有效载荷数据,以便用户指定一些表达式,如在有效载荷(持续时间> 1000),然后,弹性搜索将带来所有的日志线,满足条件。另外,我希望将Payload索引为Name=Value对,这样用户就可以查询某种正则表达式(key3=value2或key4 = exception)。如果能做到这一点,请告诉我。任何帮助指针都是很棒的。

谢谢,Bhavesh

EN

回答 1

Stack Overflow用户

发布于 2015-05-13 02:49:26

在elasticsearch中进行良好搜索的第一步是根据数据创建字段。对于日志,logstash是正确的工具。grok{}过滤器使用模式(现有的或用户定义的regexp)将输入拆分为字段。

您需要确保将其映射到整数(例如,模式中的%{int:工期:int})。然后,您可以在elasticsearch中查询"duration:>1000“以获得结果。

Elasticsearch使用lucene查询引擎,因此您可以在此基础上找到示例查询。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/23032944

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档