应用洞察日志分析

Question

我有应用程序洞察的事件日志，其中事件被记录并作为json存储在存储在blob存储中的文本文件中。我需要找到符合标准的customProperty。点击次数非常少(约10或20)，但是记录的数据非常大。有什么建议可以有效地做到这一点吗？

我在微软的文档中读到，HDInsights理解blob存储，而且效率很高。这与我的设想有关系吗？如果是的话，谁能提供一些起点。

Answer 1

HDInsight是一个兼容Hadoop的实现，是一种很好的日志分析技术。这也是关于遥测的被陈述在AppInsighs页面上。“在更大的范围内，考虑一下云中的HDInsight - Hadoop集群。HDInsight提供了各种管理和分析大数据的技术。”

在同一页上，您可能会发现有关将AppInsights遥测持续输出到Azure Blobs存储区的信息。

下一步可能是使用HDInsight进行分析，但它需要您实现某种算法。

要将数据从Azure上传到HDInsight，您可能会看到这种联系 (以及用于查询的这 )。

为了了解日志处理管道，这是Hadoop/HDInsight的一项常见任务，可以使用一些演练和手册，例如这。但是，您需要根据场景调整此算法。

Answer 2

在应用程序洞察的情况下，还有另一个选择。介绍了一种新的分析工具应用透视分析。

• https://blogs.msdn.microsoft.com/bharry/2016/03/28/introducing-application-analytics

此工具还分配您使用特定语言处理所有记录的数据：

requests
| where timestamp >= ago(24h)
| summarize count() by client_CountryOrRegion
| order by count_ desc

您可以导出所需的数据。