用于大型数据/报告项目的方法

Question

对于以下情况，什么是好的方法：

每周大约有250,000条表示事务的记录将被追加到SQL 2005数据库中的一个大表中。需要增加此数据并将其追加到另一个表中。(例如，基于事务上的客户端ID，将根据某些业务规则计算各种数据；数据取决于客户端ID和事务ID。)可以将此表视为分析引擎的预处理输入。然后，这些输入数据将被放入分析引擎(供应商解决方案)，该引擎将生成第三个数据库表。然后，该表将需要进一步处理(例如，按客户ID聚合和一些内部分析)，以附加到包含结果的表中，该表的形式可用于我们的团队生成报告。很可能在未来，相同的数据将提供给其他应用程序，例如基于web的数据查看器。

我们的技能基础是C、C++、C#、.NET，并对ADO.NET和LINQ略知一二。如果这还不足以满足这样一个项目，请让我知道。虽然我们现在对新人才的预算并不存在，但我们可能会努力增强我们内部的技能基础，或者向其他团队借钱来满足项目要求。

Answer 1

根据您的描述，这听起来应该完全通过数据库驱动，例如，使用T-SQL和SSIS。加载到表和预处理和后处理(聚合、后续加载等)是SSIS将大放异彩的地方。如果我没注意到你的意图，请告诉我。

Answer 2

这些天，我正在阅读关于维度建模、星型模式和数据仓库的文章，所以请原谅我在学习锤子之后看到了一个钉子。我会问你手头是否有一个好的数据建模器。我真的很喜欢Ralph Kimball关于维度建模的想法。我敢打赌，供应商报告解决方案将直接插入。在我看来，事务模式和报告模式之间的任务差异需要不同的方法。

Answer 3

听起来像是ETL项目。您要使用SQL Server集成服务。它取代了SQL2000中的DTS。