数据科学家使用Excel吗？

Question

我会认为自己是一个熟练的数据科学家。像大多数(我想)，我做了我的第一个图表，并做了我的第一次汇总在高中和大学，使用Excel。当我读完大学、研究生院和7年的工作经验之后，我很快就学会了一些我认为更高级的工具，比如SQL、R、Python、LaTeX等等。

我们正在面试一个数据科学家的职位，其中一位候选人宣称自己是一名“高级数据科学家”(最近非常流行的术语)，具有15+多年的工作经验。当被问到他最喜欢的工具集是什么时，他回答说是Excel。

我认为这证明了他没有他的简历那么有经验，但我不确定。毕竟，仅仅因为它不是我喜欢的工具，并不意味着它不是其他人的工具。有经验的数据科学家使用Excel吗？你能假设那些主要使用Excel的人缺乏经验吗？

Answer 1

大多数非技术人员经常使用Excel作为数据库的替代品。我认为这是错误的，但可以容忍。然而，被认为在数据分析方面有经验的人根本不能使用Excel作为他的主要工具(不包括第一次查看数据的明显任务)。这是因为Excel从未打算用于这种分析，因此，在Excel中出错是非常容易的(这并不是说在使用其他工具时不太容易发生另一种类型的错误，但是Excel会使情况更加恶化)。

要总结一下Excel没有并且是任何分析都必须具备的内容：

1. 可复制性数据分析必须是可重复的。
2. 版本控制。有利于协作，也有利于重复性。不要使用xls，而是使用csv (仍然非常复杂，有很多边缘情况，但是csv解析器现在相当不错)。
3. 测试。如果你没有测试，你的代码就坏了。如果您的代码被破坏，您的分析比无用更糟糕。
4. 可维护性
5. 准确性。在Excel中，数值精度、精确的数据解析等等都是非常缺乏的。

更多资源：

欧洲电子表格风险利益集团-恐怖故事

你不应该在重要的工作中使用电子表格(我是认真的)

微软的Excel可能是地球上最危险的软件

用Excel破坏你的数据，用这个诡计！

Excel电子表格很难正确无误

Answer 2

有经验的数据科学家使用Excel吗？

我见过一些有经验的数据科学家，他们使用Excel --要么是因为他们的喜好，要么是由于他们工作场所的业务和IT环境的特殊性(例如，许多金融机构使用Excel作为他们的主要工具，至少是用来建模的)。然而，我认为大多数有经验的数据科学家认识到需要使用工具，这些工具对于特定的任务是最优的，并且坚持这种方法。

你能假设那些主要使用Excel的人缺乏经验吗？

不，你不能。这是我上述想法的必然结果.数据科学并不自动意味着大数据-- Excel可以很好地处理大量的数据科学工作。话虽如此，如果一位数据科学家(甚至有经验的)不具备现代数据科学工具的知识(至少是基本知识)，包括以大数据为中心的工具，那就有点令人不安了。这是因为实验深深扎根于数据科学的本质，因为探索性数据分析是必不可少的，甚至是其中的一个关键部分。因此，一个人如果不想在其领域内探索其他工具，在适合担任数据科学职位的候选人中可能排名较低(当然，这是相当模糊的，因为有些人学习新材料非常迅速，而且由于各种个人或工作场所的原因，人们可能没有机会满足他们对其他工具的兴趣)。

因此，最后，我认为，一个有经验的数据科学家对有关其首选工具的问题的最佳答案是:我喜欢的工具是最佳工具，也就是最适合手头任务的工具。

Answer 3

我认为大多数人在回答时都没有很好的excel知识。Excel (自2010年起)有一个内存中的柱状多表数据库，称为power (它允许从csv/数据库等输入)，允许它存储数百万行(它不必加载在电子表格上)。它还有一个名为power查询的ETL工具，允许您从各种来源(包括hadoop)读取数据。它还有一个可视化工具(电源视图和电源地图)。许多数据科学都在进行聚合和顶层分析，这是权力支点的优势所在。此外，这些工具的交互性-任何用户都可以轻松地拖放一个维度来分解结果，我希望你能看到好处。所以是的，你不能做机器学习，但是我会质疑数据科学家每天做多少机器学习:比如当我想分析机器学习程序中的预测错误时，我发现用excel对这些错误进行切片和剪裁是最容易的。