首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在不使用RDDs的情况下将文本(.txt)文件写入数据帧并在控制台上打印

问如何在不使用RDDs的情况下将文本(.txt)文件写入数据帧并在控制台上打印
EN

Stack Overflow用户
提问于 2019-08-22 12:37:33
回答 2查看 169关注 0票数 0

我想要将一个.txt文件写入数据帧并在控制台上打印它

我尝试过以与通过dataframes将.csv文件打印到控制台相同的方式进行打印

def txtreader():DataFrame={

代码语言:javascript
复制
val loadTxt=spark.read
            .format("txt")
  .option("header","true")
  .load("C:\\Users\\1591532\\Spark-Learning-Workspace\\Text Files\\abc.txt")

return loadTxt

我收到一个错误"Failed to find data source: txt.“

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2019-08-22 16:13:54

对于Spark 1.6和更高版本,您可以使用csv数据源:

代码语言:javascript
复制
val df = spark.read.csv("file.txt")

对于您的情况,您还可以指定标题选项、分隔符等,例如:

代码语言:javascript
复制
val df = spark.read.option("header", "true").option("delimiter", ";").csv("file.txt")
票数 1
EN

Stack Overflow用户

发布于 2019-08-22 14:36:37

请找到下面的代码来读取文本文件。

代码语言:javascript
复制
scala> spark.read.text("sample.txt")
res34: org.apache.spark.sql.DataFrame = [value: string]

scala> res34.show
+-----+
|value|
+-----+
|  abc|
+-----+
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/57602124

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档