当数据不是新的广告/社交媒体/零售时尚的一部分时，声称拥有大数据的体验是合乎道德的吗？

Question

显然，大多数雇主在聘用数据科学家时，更喜欢使用大数据和/或数据科学方面的经验。但是，一个人能安全地假定他们会承认什么是经验呢？

假设有人经常在计算集群上启动软件，该软件通常会生成大量数据。我不知道数据科学最好的衡量标准是什么。我将称它为每row...certainly在500 K以下的1或2000行，200 K或300 K点。然后，对于每一点，让我们称之为25或30个值。这相当于30或40千兆的数据。这其中有300到400次，你可以称之为一项研究--也许每年一到两项研究。我的印象是，这比谷歌或Facebook的数据科学家所习惯的要小得多，但对于我的家庭计算系统来说，它肯定太大了。

如果有人多年来一直在从事这方面的工作(这家公司的一些人在数据科学发明之前/在社交媒体出现之前就开始这么做了)，那么他们声称拥有大数据经验是否公平？根据这个答案的说法，重要的不是数据量，而是需要对数据做些什么--这是一个普遍接受的观点吗？

就其价值而言，使用这些数据需要使用一些专有语言、shell脚本和大量Python来操作/清理数据。有点R，但这是最近的事。它涉及大量的数据可视化，得出结论，并向管理人员/令人信服的决策者。其中有些涉及到趋势确定、外推和数据集之间的比较，而这些数据集并不直接相关，因此在我看来，这听起来像是数据科学。但我将是第一个承认我对目前的数据科学了解有限的人。

如果你能告诉我这是一个复活节彩蛋，还是这个网站目前的实际答案：

编辑：

我会尽力澄清的。数据科学雇主承认有什么大数据/数据科学的经验？以上数据的大小是否符合经验？还是这一领域的人普遍接受的不是数据的大小，而是你需要对数据做些什么？

Answer 1

数据在各种方面都可能很大。它可以是大N(观测)和小P(每个观察变量)，例如访问日志。它可以是大的P和小的N，就像在生物统计学中，你有成千上万的基因表达来自几十或数百人。也可以是N和P，就像Facebook的数据一样。通过规范数据的每一个细节，数据也可以变得更大，这意味着您将能够创建一个真正表示简单数据的大规模关系数据库模式。

各种大数据都需要不同的方法，公司大多关心自己的大数据版本。这就是为什么答案不是黑白的。

为了回答你在标题中提出的问题，我认为，只要你能把大数据放在你遇到过的业务或领域的上下文中，并且可以描述需要一套不同的工具或技能，而不是用于较小的玩具例子，那么，用大数据来获取经验是合乎道德的。