大数据的应用洞察

Question

我希望在我的spark集群上使用jvm-profiler (https://github.com/uber-common/jvm-profiler)，并将其与我的应用程序日志相关联。在大型集群(大约1000个执行器)上，这将产生大量数据。我尝试将其转储到influxDb中，但效果很好。但是，然后我必须管理influxDb。我的堆栈都在Azure中，我们使用Application Insights。

应用程序洞察力是否可以处理这种负载，或者是否有更好的Azure替代方案。我的计划是使用Power BI围绕这些数据创建仪表板。

目前的替代方案是使用influxDb和Chronograf来可视化数据。

Answer 1

App Insights will ingest每秒最多32，ooo事件。默认数据上限为每天100 GB，但您可以自行将其增加到1,000 GB，或者向支持部门请求更高的上限。

Making use of sampling将减少总容量和您的账单-您可以控制如何做到这一点，以便您只在您想要的地方采样数据。通常，累积指标是单独发送的，因此请求计数等内容不会受到采样的影响。