首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何合并来自不同来源的数据?

问如何合并来自不同来源的数据?
EN

Data Science用户
提问于 2017-05-24 05:45:10
回答 1查看 86关注 0票数 -1

如何设置一个环境,以便在我的macbook上合并来自各种来源的数据,比如mysql数据库和csv文件?有像informatica这样的开源工具吗?或者..。?

EN

回答 1

Data Science用户

发布于 2017-05-25 13:02:50

备选方案包括:

  • 用你的代码来做,就像Emre说的那样。熊猫(如果你在使用Python)有很多加入和联合数据集的选项。如果使用R,请查找dataframe操作。
  • 在PostgreSQL或MySQL这样的DB中创建一个小型的“数据集市”或“数据湖”,其唯一目的是将事物合并起来。这就是我通常所做的工作,因为数据库处理的数据比您在内存中所能处理的要多,而且SQL非常擅长过滤、连接和细分。有些人可能会使用像Informatica一样的ETL (这既不是开源的,也不是廉价的),但通常不需要进行即席分析。
票数 0
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/19168

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档