Bigdata用例

Question

我们正在尝试使用BigData创建仪表板。目前数据是在SQLServer中处理的，而前端则是在MVC中。由于使用SQLServer本身进行分析的数据流非常高，因此决定使用BigData。我选择了Cloudera Manager CDH，SQOOP将数据从SQLServer导入到配置单元，并使用IMPALA运行分析。决定使用Microstrategy将结果上传到移动平台上，将图表提供给客户。欢迎任何想法或建议来改进流程？

Answer 1

看起来你有了一个很好的开始。请记住，您的分析可以通过多种工具来完成，而不仅仅是Impala。

一旦你进入Hadoop，Hive和Pig就提供了强大的功能(UDFS提供了更多)，学习起来也很容易。

如果你最终想要做一些迭代的用例(并利用机器学习)，你可能想看看Spark (这两件事就在它的驾驶室里)，它不受( to ?)MapReduce。

有很多优秀的工具可用。祝您旅途愉快。

Answer 2

我会考虑使用两个阶段。数据分析和数据可视化。使用两个阶段使解决方案更加灵活，并将责任解耦。

数据分析

Apache摄取数据(包括清理)，data.

• Explore/Analyse可以执行摄取步骤，可能需要额外的步骤来清理
• 数据，Apache是一个非常灵活和强大的工具。
• 以指定的格式存储分析结果

数据可视化

• 从数据分析中加载数据。使用Highcharts/Kibana/Dashing。或者使用D3创建自定义仪表板。