选择长期存储/分析系统？

Question

我正在做的这个项目的一个简要总结：

我受雇于我就读的州立大学附近的一家小公司(一家大公司的一部分)担任网络开发实习生。在过去的几个月里，我和另外两个实习生一直在做前端和后端的工作。该公司正在为其产品(石油/天然气行业)添加传感器；我们的任务是建立一个门户，客户可以登录这个门户来查看他们的机器上的数据，即使他们不在他们身边。

基本上，我们正在收集传感器数据(~10个传感器/机器)，并将其发回给我们。我们陷入困境的地方是确定存储和分析长期数据的最佳方法。我们为前端的快速访问设置了Redis Cache，其中只存储了每台机器的最新数据集。但就历史数据而言，我(和我的同事)很难决定走哪条最好的路线。我们的整个项目都是基于VS (C#/Razor)与Azure集成(顺便说一句，这太棒了)，所以我也想把长期的存储保存在那里。据我所知，BLOB中的HDinsight +数据似乎是最好的选择，但在后端解决方案方面，我相当环保。我只想听取一些在这方面可能有更多经验的老开发人员的意见，因为我们是这里唯一的开发人员，除了几个老成员，他们更多地参与了事物与开发的工程方面。

那么，堆栈溢出的专业人士，您对长期数据存储和分析有什么建议呢？

PS:如果我把HDinsight搞糊涂了，我很抱歉。据我所知，为了便于分析，它将BLOB存储中的数据映射到HBase中？Hadoop/HBase让我困惑。

Answer 1

我的第一个建议是Azure表存储。它提供了一种高可伸缩性和低成本的数据存档解决方案。如果设计得当，您也可以获得非常好的查询性能。有关详细信息，请参阅浅色存储表设计指南。

我的第二个选择是Azure DocumentDB服务，它是一个NoSQL文档数据库。它的成本要高一点，但是查询数据要灵活得多。

只有当您有特定需求时，您才应该使用HDInsight，因为它是一种资源密集型和昂贵的服务。一旦您确定了大数据分析的特定需求，这就是您导入数据并使用HDInsight处理数据的时候。