方案没有FileSystem :os

Question

我正在使用阿里巴巴云存储来自spark脚本的处理数据，但我无法将数据上传到存储中。我通过添加一些jars来了解s3，但不确定如何在阿里巴巴OSS服务中做到这一点

from pyspark.sql import SparkSession

conf = SparkConf()
conf.set("spark.hadoop.fs.oss.impl", "com.aliyun.fs.oss.nat.NativeOssFileSystem")
spark = SparkSession.builder.config("spark.jars", "/home/username/mysql-connector-java-5.1.38.jar") \
    .master("local").appName("PySpark_MySQL_test").getOrCreate()

wine_df = spark.read.format("jdbc").option("url", "jdbc:mysql://db.com:3306/service_db") \
    .option("driver", "com.mysql.jdbc.Driver").option("query", "select * from transactions limit 1000") \
    .option("user", "***").option("password", "***").load()

outputPath = "oss://Bucket_name"
rdd = wine_df.rdd.map(list)
rdd.saveAsTextFile(outputPath)

Answer 1

我想可能是因为你没有开放OSS的权限。在您的OSS中，单击您的存储桶-authorize。更改为相关规则，如添加条件IP。它可以为你工作。