为仪表板预处理大数据的工具？

Question

我有一个复杂的数据集，有超过1600万行来自制药行业。对于数据，它保存在具有多个(400多个)关系表的sql服务器中。数据得到了不同层次的等级，如省、市、邮政编码、人和抗原测量等。我想创建许多仪表板，以观察变化和趋势的发生。我可以使用宾得，R(闪亮)或Tableau为这个目的。但是问题是数据是如此巨大，用仪表板软件处理数据需要很长时间。我可以选择制作立方体并将其连接到仪表板上。我在这里的问题是，是否有其他的解决方案，我可以用而不是制作一个立方体？我不想经历制作和维护立方体的麻烦。我想使用一个软件来指定表之间的关系，这样聚合/合并就可以顺利进行，并输出可以连接到仪表板的处理过的表。我听说Alteryx是一个可以为你做这件事的软件(我自己还没有试过它，而且它是一个昂贵的软件！)我知道这个任务需要两个或两个以上的软件/工具。请分享您的意见和经验。请说明您所使用的工具、数据的大小、整个系统的速度/效率以及其他必要的细节。

Answer 1

我们有仪表板显示一些进程的信息，这些进程在数据库中有数十亿行。但是，它不是直接查询的，而是来自预先聚合的数据。

我们有运行在数据库中的自动脚本，这些脚本专门为仪表板填充聚合数据表。在大多数极端情况下，原始数据是如此庞大，并且以如此高的速度进入，因此存在两层聚合。第一层将数据去规范化，第二层将执行实际和/计数类型的聚合。

因此，您不需要两个工具，因为您可以完全在数据库中进行聚合。

编辑(从评论中回答问题)：我们的仪表板在Tableau。数据都在PostgreSQL数据库中。自动化是通过unix cronjob执行数据库功能来完成的。该函数依次查询要运行和运行这些任务的任务。整个系统有一些移动的部分，但是体系结构并不太复杂。写下你的想法，去和一些建筑师/工程师谈谈--他们会知道最好的方法。

Answer 2

由于声誉原因，我不能发表评论，但您确实需要告诉我们您正在运行的SQL Server的哪个版本，或者更多关于数据是如何构造的以及如何将数据拖到这些仪表板中的信息。甚至可能需要多长时间，以及你有哪些资源可以真正知道他们在做什么。

OLTP

尽管如此，听起来您的OLTP数据库有很多表。由于我不知道这些表之间的关系，也不知道如何从这些表中提取数据，所以我只能假设您正在从其中的许多表中提取数据。如果优化表没有帮助，因为您要拉多少个连接和记录，那么：

Server分析服务

听起来，您需要创建一个可用于报告的多维数据库。通过允许在从MOLAP到ROLAP的许多不同结构中定义OLAP多维数据集来帮助您做到这一点。

多维数据库(数据仓库)

另一种方法是创建一个新的数据库，它将成为多维数据的基础。因此，您需要在SQL Server中创建一个复杂的ETL系统，每天将这400个表自动转换为事实和维度，并将其推入新数据库。这是一个类似于在Server中定义多维数据集时SSAS将为您做的事情。

预聚合表或视图

如果您自己无法做到这一点，那么另一种方法就是在数据库中构建新的表，这些表只是用于报告的400个表的预聚合。基本上确定了如何为仪表板读取数据，并找到方法将数据预先聚合到更少的表中，然后才能将其放入报表中。

自动化与工具

这一点(以及构建多维数据)仅仅是通过创建存储过程或SSIS包以及每天自动化流程来实现的。然后是Tableau、SSRS或其他任何查询新表的表，而不是可能减慢进程的前400个表。

雇了人，你已经有了工具

最后一种也是最后一种方法是为您找到一个完成ETL的工具。有很多ETL供应商可以解决这个问题。但请记住，您可能拥有完成此操作所需的所有工具。你只需要雇佣人才，要么是临时合同，要么是全职工作。

如果我不知道我在SQL中做了什么，我会与ETL开发人员、SQL开发人员或BI开发人员签约来帮助我。因为既然你已经有了一个好的工具箱，为什么还要买另一个工具箱呢？

Answer 3

在这种情况下，我使用RapidMiner (RapidMiner)。有多种解决方案，如Hadoop和Radoop或RapidMiner云服务等。