BigData/Hadoop项目的典型流程？

Question

最近，我开始学习SQOOP、Hive、Pig等BigData技术，发现有多种选择(如SQOOP、HiveQL等)。可以用来解决给定的问题。我对技术/工具的选择有些困惑。

如果您采用任何典型的Microsoft BI项目，那么大部分时间流程将是

SSIS (用于处理原始数据) -> SSAS (用于创建OLAP ) -> SSRS (用于生成报表)。

类似于此，BigData/Hadoop项目的典型流程是什么。假设我的数据源是电子邮件日志。

Answer 1

这实际上取决于你的需求和你所拥有的技能。在我看来，您可以以多种方式处理电子邮件日志。

选项

1. (接近实时)流电子邮件日志从来源使用水槽
2. (实时)使用风暴喷口流电子邮件日志

做这件事还有很多其他的方法。根据可用的技能集，这将适合您的需求，您可以决定。