雪花POC (从Microsoft在前提下加载数据到雪花)

Question

我必须做一个概念的证明(POC)与雪花和我是新的雪花和寻求建议。

用例：

1. 必须从(前提)加载7个表(5个维度表和2个事实表)的数据到雪花
2. 有两张桌子很大，有超过1.5亿张记录。
3. 一旦数据加载到雪花，就必须在雪花中创建大约7个表中的星型模式模型
4. 使用SSRS、Power或Excel从雪花读取数据。

需要衡量：

1. 将数据从源加载到雪花所需的时间(时间、资源利用等)
2. 阅读性能如何？
3. 行级安全性:区域经理浏览Power报告，应该只查看他的数据，而不是其他区域经理的数据

请有人解释一下实现上述目标所涉及的步骤？如果你能提供一些支持性的链接和脚本，那就太好了。

我是否需要做以下工作：

1. 将数据从AX表加载到文件(我认为文件大小有限制：https://docs.snowflake.net/manuals/user-guide-getting-started.html)
2. 将这些文件上传到Amazon S3或Azure Blob存储中，然后从那里将每个文件加载到雪花中

Answer 1

从雪花来的这个怎么样：如何制作数据仓库POC

你必须注册才能从2019年得到这个eBook .

另外，我强烈建议在你的“我需要做什么吗？”部分。

Answer 2

4雪花提供的数据加载选项：小数据集： 1)雪花Web UI/ interface :加载有限数据(小数据集)大容量加载： 2) SnowSQL (CLI客户端)：SnowSQL命令行接口将大量数据从云端文件加载到雪花。SnowSQL是下一代命令行客户端，用于连接到雪花以执行SQL查询和执行所有DDL和DML操作，包括将数据加载到数据库表并从数据库表中卸载数据。您必须在客户端计算机上安装和配置SnowSQL。3)雪管:雪管是雪花的连续数据摄取服务。在文件被添加到一个阶段并提交供摄取后几分钟内，斯诺管道就会加载数据。4)第三方ETL工具:如Matillion (SaaS)、SSIS (IaaS &On-Pre前提)、Talend (SaaS)等。创建自己的数据集成包，将数据加载到雪花中。

步骤： 1.将数据从源AX加载到雪花i)，因为我们是一个MS，创建一个SSIS包将数据从AX加载到CSV (每个文件的最大大小应该是100 MB)，并将文件放在Azure Blob存储或AWS S3 ii上使用SnowSQL将数据从文件(Azure Blob存储)加载到雪花或iii)使用第三方ETL工具SSIS直接将数据从源加载到雪花，并且一旦数据被转储到雪花，您就可以进行转换。