PySpark过滤条件

文章/答案/技术大牛

发布

1回答

pyspark、apache-spark-sql

如果第一个过滤器为真，则第二个过滤器应覆盖第一个过滤器。过滤器1示例： df = df_vals.where(F.col("x" == 1a)).select() 过滤器2示例： df = df_vals.where(F.col("x" == 1a | "x" == 2b ) | f.col("x" == 1a | F.col("x" == 2c)).select(items in list) 因此，如果第

浏览 37提问于2021-09-16得票数 1

2回答

在中过滤数组

python、pandas、apache-spark、pyspark、apache-spark-sql

火花版本: 2.3.0['apple', 'banana', 'orange']['apple', 'pineapple', 'grapes'] 我想要过滤每个数组中包含我如何在PySpa

浏览 3提问于2021-10-01得票数 1

回答已采纳

1回答

使用逻辑和超过条件列表的PySpark* DataFrame过滤器-- Numpy所有等效条件*

python、numpy、apache-spark、pyspark、apache-spark-sql

如果所有列的值为零，我将尝试过滤PySpark数据的行。我希望使用这样的方法(使用numpy函数np.all() )：df.filter(all([(col(c) !是否有任何方法来执行逻辑和条件列表？np.all在PySpark中对应的功能是什么？

浏览 3提问于2016-12-20得票数 16

回答已采纳

1回答

“‘list”对象在pyspark中没有属性“map”

python、apache-spark、pyspark、bigdata

我用pyspark写了这段代码： return [x for x in line if x != 2]但是我得到了这个错误：如何在PySpark中专门对数据执行map操作，使我能够将数据过滤到条件计算为真的那些值？

浏览 0提问于2017-11-03得票数 6

回答已采纳

2回答

要为每行pyspark* dataframe计算多个if elif条件*

apache-spark、pyspark、spark-dataframe、bigdata

我需要帮助在pyspark数据帧主题。我有一个数据框架，比如1000+列和100000+ rows.Also，我有10000+ if elif条件，在每个if else条件下，只有很少的全局变量被一些值递增。现在我的问题是，我如何才能仅在pyspark中实现这一点。我读到了过滤器和where函数，它们根据条件返回行，我需要检查这些10000+ if else条件并执行一些操作。任何帮助都将不胜感激。

浏览 0提问于2017-07-25得票数 0

1回答

Pyspark:基于列表的多条件过滤数据

python、dataframe、pyspark

假设您有一个具有A和B列的pyspark A。l = [{'A': 'val1', 'B': 5}, {'A': 'val4', 'B': 2}, ...]过滤应按以下方式进行：( (df['A'] == l[0]['A']) & (df[&#x

浏览 9提问于2020-04-30得票数 1

回答已采纳

1回答

使用来自另一个数据帧的条目过滤一个pyspark数据帧

apache-spark、pyspark、apache-spark-sql

我有两个数据帧，其中一个来自必须过滤Category的地方，另一个来自它所做的条件过滤。Dataframe 1:哪个有条件使用上面的dataframe_1，我必须从满足dataframe_1中给定条件的dataframe_2中过滤</em

浏览 0提问于2021-09-06得票数 0

2回答

pyspark、spark-dataframe

我的DataFrame是df，我的udf如下：def B_field(B_field_value): if B_field_value

浏览 4提问于2017-03-28得票数 0

1回答

pyspark根据对应条件过滤行

pandas、pyspark、apache-spark-sql

']>row['date'])]final_df = pd.concat(all_dfs, axis=0) 我如何在不涉及for循环的pyspark

浏览 22提问于2021-11-11得票数 1

回答已采纳

1回答

带条件的PySpark分组过滤

python、apache-spark、pyspark、etl、user-defined-functions

我正在处理pyspark中的结构化数据帧。数据是从s3读取拼图格式的。然后，我想过滤掉一些符合条件的数据。1 value rec_date B 10 2020-10-12 我知道我可以使用@pandas-udf创建group by函数并使用条件进行过滤是否有任何结构化数据框filter /内置函数可以有效地过滤出符合条件的数据？

浏览 1提问于2020-10-09得票数 0

2回答

使用pyspark在地图阶段的rdd的FIltering行

python、apache-spark、pyspark、rdd

我正在使用pyspark中的以下代码过滤数据集： rdd = sc.textFile("location...").map(lambda line: line.split(",")). \我的问题是:在我的解决方案的伪代码中，不满足条件的行的过滤可以在映射阶段完成，从而解析整个数据集once.However，在这种情况下，数据集被解析2次，这是更昂贵的。

浏览 14提问于2021-02-20得票数 0

1回答

火花过滤器未按预期工作..“‘Column”对象不可调用

apache-spark、dataframe、filter、pyspark、pyspark-sql

当在Spark Dataframe上的过滤器中使用"and“子句时，它返回Spark.SQL.Column而不是Spark Dataframe。但在一个条件下，它工作得很好。或者如何在filter子句中传递多个条件？

浏览 1提问于2019-04-23得票数 0

1回答

用spark查询mongodb

mongodb、apache-spark

我正在将MongoDB连接到Spark，并希望使用查询加载数据。df.show()

浏览 2提问于2017-04-11得票数 2

回答已采纳

点击加载更多