使用Microsoft大数据平台的SSIS

Question

我们可以将SSIS与Microsoft大数据平台结合使用吗? SSIS在哪些方面对大数据仍然有用

Answer 1

除了@GregGalloway提到的几点之外，你还应该看看SSIS Azure Feature Pack，它目前还在预览中。它包含一些使用HDInsight的任务，例如用于蜂巢和猪。如果您需要更深层次的集成，特别是与Azure中的其他服务，如DocumentDB，数据工厂应该在您的列表顶部。

Answer 2

绝对一点儿没错。如果你现在没有SSIS，那么你可以先看看Azure Data Factory。但是，如果您当前使用的是SSIS，则可以将其与HDInsight一起使用。

如果您安装了Hive ODBC驱动程序(或Spark ODBC或两者)，则可以在SSIS中使用如下连接字符串进行连接，并使用ODBC源或执行SQL任务。

uid=MyUser;pwd=MyPassword;Driver={Microsoft Hive ODBC Driver};host=mycluster.azurehdinsight.net;port=443;schema=default;rowsfetchedperblock=10000;hiveservertype=2;authmech=6;defaultstringcolumnlength=4000；

在这里查看一个稍有不同的ODBC：http://azure.microsoft.com/en-us/documentation/articles/hdinsight-connect-excel-hive-odbc-driver/

然而，我更喜欢将我的PowerShell代码放在blob存储中的.hql文件中，而不是让SSIS使用Azure Hive来启动它们。这在某种程度上等同于部署“存储进程”。

Answer 3

借助Open Database Connectivity，您绝对可以使用Microsoft SSIS与大数据进行交互。请看本教程，其中使用SSIS将数据推送到Cloudera的配置子表中。

https://www.youtube.com/watch?v=gPLfcL2zDX8