因此,我现在有以下DataFrame,其值如下:
Dataset<Row> ds = sparkSession.read().text(pathFile);
+-------+--------+
| VALUE | TIME |
+-------+--------+
| 5000 | |
+-------+--------+其中时间没有值(或为空)。如何向TIME列添加值?稍后,我将在我的程序中添加更多的行,并且需要为值和时间列添加/追加值。我该怎么做?
发布于 2017-06-27 00:06:23
如何向TIME列添加值?
和
时间没有值(或为空)
让我相信,您可能希望探索不可用运算符。
na: DataFrameNaFunctions返回用于处理丢失数据的DataFrameNaFunctions。
这反过来又为您提供了获得填充缺失值的方法。
fill(值: String,cols: ArrayString):DataFrame返回一个新的DataFrame,该DataFrame替换指定字符串列中的空值。如果指定的列不是字符串列,则忽略该列。
如果您只想替换,则应该使用withColumn运算符。
withColumn(colName: String,col: Column):DataFrame通过添加一个列或替换同名的现有列来返回一个新的数据集。
作为col的值,您可以使用点灯函数。
lit(文字: Any):列创建一个具有文字值的列。
另一个要求是..。
也要添加更多的行
那是友联市接线员。
联合(其他: DatasetT):DatasetT返回一个新的数据集,其中包含此数据集中的行和另一个数据集的合并。这等同于SQL中的UNION ALL。
https://stackoverflow.com/questions/44768239
复制相似问题