首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >我想把数据从SQL服务器DB转移到Hbase/Cassandra等。如何决定使用哪个大数据库?

问我想把数据从SQL服务器DB转移到Hbase/Cassandra等。如何决定使用哪个大数据库?
EN

Stack Overflow用户
提问于 2016-05-12 05:33:41
回答 2查看 631关注 0票数 4

我需要制定一个计划,将数据从SQL服务器DB转移到任何一个大数据数据库?我想出的一些问题是:

  1. 数据有多大?
  2. 这些数据的预期增长率是多少?
  3. 什么样的查询会经常运行?例如:查找、范围扫描、全扫描等。
  4. 数据从源移动到目的地的频率是多少?

有人能帮我补充一下这份调查问卷吗?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2016-05-12 09:46:04

首先,How big is the data并不重要!这一点几乎不能用来决定使用哪一种NoSQL DB,因为大多数NoSQL DB都是为了方便的可伸缩性和存储而制作的。所以,重要的是激发的查询,而不是有多少数据。(当然,除非您打算将其用于存储和访问非常小数量的数据,因为在许多NoSQL DB中,这些数据可能有点昂贵),您的第一个问题必须是为什么要考虑NoSQL?关系数据库管理系统不能处理吗?

预期增长率是一个相当大的参数,但同样不是那么有效,因为大多数NOSQL支持存储大量数据(没有任何可伸缩性问题)。

清单中最重要的是What kind of queries will be run?

这是最重要的,因为关系数据库将数据存储为,并且它更容易选择元组&用较少的数据量输出它们。它执行*查询的速度更快(作为其逐行存储)。但在NoSQL,大多数DBs是 柱状 或 面向列数据库管理系统。

面向行的系统:当数据被插入到表中时,它被分配一个内部ID,即系统内部用于引用数据的rowid。在这种情况下,记录具有独立于用户分配的empid的顺序rowids。

面向列的系统:面向列的数据库将列的所有值序列化在一起,然后是下一列的值,依此类推。

row-oriented和column-oriented数据库之间的比较通常涉及到对给定工作负载的硬盘访问效率,因为与计算机中的其他瓶颈相比,查找时间非常长。

How frequently the data will be moved/accessed?也是一个很好的问题,因为访问成本很高,而且在第一次执行查询时,很少有NoSQL DB非常慢(例如: Hive)。

您可能考虑的其他参数是:

  1. 是否需要更新行(表中的数据)? (Hive在更新方面有问题,通常需要删除并再次插入)。
  2. 为什么要使用数据库?(搜索、派生关系或分析等)您想对数据执行什么类型的操作?这需要关系搜索吗?就像Facebook Db(Presto)的情况一样,它需要聚合吗?它会被用来关联不同的列来获得洞察力吗?(就像要做的分析一样)
  3. 最后一个非常重要的问题是,您想要将数据存储在 HDFS(Hadoop分布式文件系统) 上作为文件或DB的特定存储格式或其他任何东西吗?很重要,因为您的处理取决于数据的存储方式、可以直接访问数据还是需要可能耗时的查询调用等等。
票数 3
EN

Stack Overflow用户

发布于 2016-05-12 07:09:30

再来几个指针

  1. 适合您的需求的非sql DB类型。即键值、文档、列族和图形数据库
  2. 在一致性、可用性和划分容限之间决定哪一个更关键的上限定理
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/37178068

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档