从Scala查询SQL Server -如何？

Question

Env:星火1.6与Scala，Cloudera

Server 2012，版本11.0

我正在尝试从Spark查询SQL Server。

object ConnTest extends App {
  val conf = new SparkConf()
  val sc = new SparkContext(conf.setAppName("Spark Ingestion").setMaster("local[*]"))
  val sqlcontext = new SQLContext(sc)

    val prop=new Properties()
    val url2="jdbc:sqlserver://xxx.xxx.xxx:1511;user=username;password=mypassword;database=SessionMonitor"
    prop.setProperty("user","username")
    prop.setProperty("password","mypassword")
    val test=sqlcontext.read.jdbc(url2,"Service",prop)

  val dd = sqlcontext.sql("select count(*) as TOT from Service")
  dd.foreach(println)
}

我的pom.xml有依赖性-

<!-- https://mvnrepository.com/artifact/com.microsoft.sqlserver/mssql-jdbc -->
        <dependency>
            <groupId>com.microsoft.sqlserver</groupId>
            <artifactId>mssql-jdbc</artifactId>
            <version>6.1.0.jre8</version>
        </dependency>

我没有下载任何jar文件；也没有将jar安装到maven存储库，也没有将jar添加到类路径。我的Hadoop集群与互联网没有连接。在创建maven包之后，我尝试使用

spark-submit --class ConnTest /Hadoopshare/tmp/sqldb-1.0-SNAPSHOT.jar

错误：

线程"main“java.sql.SQLException中的异常:没有合适的驱动程序

Answer 1

这应该添加到您的代码中：

prop.setProperty("driver" , "com.mysql.jdbc.Driver")

在我的例子中，我使用了这个，它完全可以工作：

val jdbcDF = sqlContext.read
      .format("jdbc")
      .option("driver" , "com.mysql.jdbc.Driver")
      .option("url", "jdbc:mysql://<<>Servername>:3306/<<DatabaseName>>")
      .option("dbtable", "(SELECT id, name FROM partner) tmp")
      .option("user", "username")
      .option("password", "******")
      .load()

希望这样能行。