首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Java中的好数据挖掘工具有参考吗?

问Java中的好数据挖掘工具有参考吗?
EN

Stack Overflow用户
提问于 2011-03-26 23:24:49
回答 2查看 581关注 0票数 0

我们正在为公司做一个实习项目。项目本身包括数据挖掘。比方说,我们必须工作的数据库结构是巨大的(千兆字节)。

遗憾的是,DB本身的结构非常糟糕,值不一致,最重要的是,没有主键或外键。因此,在我们的简单servlet模块中,提取和显示不一致的数据需要花费很长时间才能在Servlet上执行和显示查询。

作为n00b程序员,我们不知道DB中的Join和诸如此类的东西。此外,我们使用MySQL作为我们的DB服务器。数据库由来自电信塔的实时数据组成.

为了查找表值中的示例不一致性,我们使用多个查询的组合,一个查询的输出作为另一个查询的输入,如下所示:

"SELECT distinct(tow_id) FROM 'tower_data' WHERE TIME_STAMP LIKE ? ";

//查询查找塔-id。

代码语言:javascript
复制
"SELECT time_stamp FROM tower_data WHERE 'TIME_STAMP' LIKE ? AND 'PARAM_CODE' = ? AND 'TOW_ID'=? GROUP BY time_stamp HAVING count( * ) >1";

//查询查找带有重复数据的时间戳。

诸若此类。

此外,数据库中还有大约10个表。我们需要组合2-3个表来获取自定义查询的值。

在发现多个因素的不一致值后,我们必须在下一阶段进行数据清理、噪声去除、数据预测等任务。

因此,我们认为可以应用一些Java数据挖掘工具,然后应用一些算法来加快数据的检索速度。

请指导我们使用一些好的数据处理工具。对优化/重写查询的任何指导也将不胜感激。

EN

回答 2

Stack Overflow用户

发布于 2011-03-27 07:48:11

我不能百分之百肯定它会对你的情况有帮助,但是看看google-精炼.

票数 1
EN

Stack Overflow用户

发布于 2011-03-27 07:57:01

由于您的数据结构很差,我不认为数据挖掘会有帮助。您可以考虑使用Apache Hadoop查看所有这些数据并查找不一致之处。您可以使用亚马逊EC2来运行Hadoop,这是一种简单且相对廉价的方法。您还可以使用Hadoop将数据库移植到一个更好的模式,前提是您可以构建一个模式。

编辑:我想你也可以在MySQL中做一些事情。使用查询解释查找查询的慢部分--我认为“喜欢”通常是慢的,也许您可以将查询重新表示为更快的内容。也许您可以先根据时间戳对模式进行排序,然后查看子范围。同样,您首先必须有一种有效的方法来获取数据,然后您可以尝试挖掘它。祝好运。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/5446094

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档