什么是大数据&什么被归类为大数据？

Question

我读过很多文章，但我似乎没有得到一个关于大数据到底是什么的完全清晰的答案。在一页中，我看到“对于您的使用来说更大的任何数据，都是大数据--即100 MB被认为是邮箱的大数据，而不是硬盘”。而另一篇文章说“大数据通常大于1TB，具有不同的体积/变化/速度，不能存储在一个单一的系统中”。另外，数据应该存储在NOSQL中，Hadoop用于转换数据。

此外，我一直在研究一个解决方案，并想知道是否可以将其归类为一个大数据。下面的解决方案的片段，

• 数百万的原始数据记录，通常是500加GB的数据。
• SQL数据库作为后端和SSIS / SQL查询来清理/处理数据并将其转换为有意义的表单。
• 利用聚能火实现可视化

任何帮助都将不胜感激。谢谢！

Answer 1

大数据只不过是如此庞大而复杂的数据的分类，它们在捕获、存储、处理、检索和分析这些数据时变得非常繁琐。

来自ibmbigdatahub artcile和艾德雷卡的文章

Bigdata可以用四个V来定义。

1. 卷：使数据“大”的主要特征是纯粹的卷。它可能相当于几百兆字节，甚至是千兆字节的信息。例如，15兆字节的Facebook帖子或4000亿的年度医疗记录可能意味着大数据！
2. ：流速是指数据在公司中流动的速度。大数据需要快速处理。时间因素在几个组织中起着非常重要的作用。例如，在股票市场上处理200万项记录或评估数百万学生参加竞争性考试的结果可能意味着大数据！
3. Variety：大数据可能不属于特定格式。它可以是任何形式，如结构化，非结构化，文本，图像，音频，视频，日志文件，电子邮件，模拟，三维模型等。
4. 准确性：准确性是指可用数据的不确定性。可用的数据有时会变得混乱，甚至难以信任。由于大数据的形式繁多，质量和准确性难以控制。

​

​

Answer 2

大数据是：

当一位的大老板认为这是一个巨大的机遇，因为数据是新的石油和黄金，并得到一大笔的钱扔出一个窗口，把它倒进肚子里。然后，你的数据仓库和筒仓变成了一个数据湖，充满协同作用的数据湖变成了一个充满比特腐烂的数据沼泽；在这里，大视野实现了这样一个现实:并不是所有闪耀的东西都是金子。然后厄运之门打开，它就来了，即将破裂的大泡沫。幻灭之路上的桥很小，你不应该经过，而是掉进大深渊，在那里所有无用的数据都会去，没有计划或没有目标的情况下，这些数据是多么急切地被收集、映射和缩小。对啰!

Answer 3

NIST大数据公开工作组的大数据定义和分类子组发布了一卷关于定义的NIST大数据互操作性框架:第1卷，定义

引文：

大数据是指传统的数据体系结构无法有效地处理新的数据集。强制采用新体系结构的大数据的特点是：

• 体积(即数据集的大小)；
• 多样性(即来自多个存储库、域或类型的数据)；
• 速度(即流速)；以及
• 变异性(即其他特征的变化)。

这些特征--体积、变化、速度和变异性--被通俗地称为大数据的“v”。

以及：

大数据由广泛的数据集组成--主要表现在容量、多样性、速度和/或可变性--这些数据集需要一个可伸缩的体系结构来进行有效的存储、操作和分析。