我想知道是否有人能告诉我建立一个用户数据库的合适的数据库格式:
基本上,我是在收集印象数据的日志,我希望编译一个用户数据库。
哪个网站的用户访问,国家/性别/.?和其他分类的目的是:(1)做搜索:给我所有的用户访问游戏网站从法国.( b)机器学习:如按访问站点对用户进行聚类
所以我有兴趣存储上百万用户中关于S的信息。
有索引吗?关于用户、站点、地理位置
这样做的目的是不断更新这些数据(例如,每晚更新访问的新站点的用户数据库等)。
什么是合适的数据库系统。有人能推荐合适的阅读材料吗?我以为Hbase可能是合适的..。
发布于 2014-11-14 15:15:20
如果你只想存储所有的用户配置文件.只需将它们保存到正常的RDBMS中即可。假设一个用户配置文件占用10 of的存储空间,那么每百万用户只需要~9.5 of,这是相当少的,并且为您提供了成熟的关系数据库的所有优势。
只有当用户很多(例如,> 1B)或数据非常稀疏(大多数列为空)时,才使用HBase。但是,不要期望它与好的旧SQL数据库一样方便。
在广告中,特别是在实时投标中,需要非常快速地检索用户配置文件。对于这个任务,塞士派克变得越来越流行。
业务日志的常见用途是分析特定的数据切片,例如2014年11月1日至14日从“游戏”类别访问网站的法国用户数量。有效管理这些数据的标准方法是将它们组织到数据立方体中。您不会获得单独的记录(例如,用户),但是您将得到非常快的汇总统计数据。
这样的多维数据集可能有许多不同的维度,但是在99%的情况下,它们都有被划分的日期字段。这是非常有意义的,因为几乎每个查询都包括从其中获取数据的时间段。
至于软件,Vertica很适合这样的聚合。来自Hadoop世界的更便宜的解决方案是Impala,这也是很棒的。
(* -如果你只计算许可证价格)
它实际上取决于具体的任务和在使用中的ML工具包。对于实时投标,你会想要快速获得用户档案矢量,并可能会更喜欢机场。对于在线学习,可以使用星火流作为数据源,而根本不使用存储。对于离线机器学习,有优秀的MLlib来自同一个星火项目,它与各种来源一起工作。
发布于 2014-10-14 17:47:02
您存储和分析的数据类型在很大程度上取决于您可以收集的数据类型。因此,在不知道你的“印象数据”是什么样子的情况下,很难建议如何规范和存储它。
此外,存储数据的方式也取决于您希望如何分析数据。例如,如果您想执行基本的分析,比如页面视图计数,每个会话用户访问多少页,等等(SQL)。。。数据需要以不同的方式存储,如果您想要构建基于流量模式的建议(图形数据库)。
请编辑您的问题,以包括更多的细节。很抱歉,我不能简单地留下评论。
https://datascience.stackexchange.com/questions/2263
复制相似问题