处理大数据

Question

我是在一个项目中处理大量的数据，以图像和视频的形式(与风能工程相关的数据)。我的要求是根据我所拥有的数据建立一个预测算法。我发现了许多工具，我可以用这些工具来分析数据，在这些工具中，每个工具都有其优缺点。大数据对我来说是很新的，我发现选择一个平台是非常困难的。这里应该有其他人，他们应该处理类似的情况。

• 在选择分析大数据的工具之前，我应该主要考虑哪些标准？

我考虑过的一些标准包括:可视化、交互、安全性、数据访问和集成、响应速度、集成数据挖掘、模式匹配、易用性等等。正如您所看到的，我为这些标准列出的列表来自广泛阅读了有关该主题的不同文章。但是，我不能缩小列表范围，也不能在可供分析的各种工具中找到这些标准的单独贡献。

让我也列出一些我搜索后发现的工具:K尼姆，统计2，Rapidminer，Orange，WEKA，龙骨，R和拨浪鼓。

我可以在什么基础上从执行类似任务的工具列表中选择一个工具？

基于注释

的

更新

目的:开发一个分析风车数据并生成报告的软件。根据分析结果，软件应该能够预测风车何时会发生故障。

该项目仍处于收集用户需求的阶段。也许我太早就得出结论，应该使用什么工具。

其他人建议，我应该最后确定要求，然后考虑一个工具，可以帮助我完成一些事情。那么，在找到工具之前，我是否有可能找到应该分析的东西和方法呢？我是否也有可能在不知道分析后工具的结果的情况下找到一个预测分析的算法。

Answer 1

在选择分析大数据的工具之前，我应该主要考虑哪些标准？

在刀具的选择上，有很多的标准需要考虑。可以是：

• 数据的结构。(数据模型Ex:层次式、表格式等)
• 数据类型和问题说明是什么。(时间序列或分类等)
• 速度
• 安全性

目的:开发一个分析风车数据并生成报告的软件。根据分析结果，软件应该能够预测风车何时会发生故障。

几乎所有现有的分析工具，如Python、Julia、R等都可以做到这一点。

我是否也有可能在不知道分析后工具的结果的情况下找到一个预测分析的算法。

是的。预测算法或技术可以通过查看数据和数据的内容来推断。它不依赖于工具.

我想提出一些我认为对你们有用的要点：

• 根据您的数据选择数据库，它是类型的。根据您的数据，NoSQL数据库将更加相关和合适。
• 只有在您对问题陈述和方法有了明确的了解之后，以及在清楚地查看了探索性分析的数据之后，才能选择算法和技术。
• 如果您需要更多的灵活性，那么使用Python、R和Julia这样的工具/编程语言。否则，您可以使用像Knime、Orange (它也有一个Python库 )、RapidMiner等工具。

Answer 2

Syncfusion提供了一个大数据平台，这是一个易于使用的Hadoop发行版。它可以帮助你快速开始。Syncfusion还提供了一个PMML处理库，您可以使用它执行预测分析模型。还有一个可以帮助可视化数据的仪表板平台。

以上所有内容都可以通过社区许可证免费获得，如果您符合条件的话。

注:我为同步公司工作。