正在将日志文件目录名拉入Pyspark数据帧

Question

我有一个有点奇怪的问题。我有一大堆的日志需要我去拖网。我在Spark中成功地做到了这一点&我对此感到高兴。

但是，我需要向数据帧中再添加一个字段，即数据中心。

唯一可以派生数据中心名称的位置是目录路径。

例如：

/feedname/date/datacenter/another/logfile.txt

提取日志文件路径并将其注入数据帧的方法是什么？从那里，我可以做一些字符串拆分&提取我需要的部分。

我当前的代码：

mpe_data = my_spark.read\
    .option("header","false")\
    .option("delimiter", "\t")\
    .withColumn("Datacenter", input_file_name())\
    .csv('hdfs://nameservice/data/feed/mpe/dt=20191013/*/*/*', final_structure)
mpe_data.printSchema()
mpe_data.createOrReplaceTempView("mpe")

Answer 1

您可以使用Spark 2.0+中的_input_file_name_获取文件路径

from pyspark.sql.functions import input_file_name 
df.withColumn("Datacenter", input_file_name())

添加您的代码片段作为示例，一旦您读取了文件，就可以使用With列来获取file_name。

mpe_data = my_spark.read\
    .option("header","false")\
    .option("delimiter", "\t")\
    .csv('hdfs://nameservice/data/feed/mpe/dt=20191013/*/*/*', final_structure)

mpe_data.withColumn("Datacenter", input_file_name())

mpe_data.printSchema()