根据pyspark中的条件从dataframe中删除行开发者社区

link之家

链接快照平台

相关文章推荐

忧郁的作业本 · SecureRandom的正确使用 - ...· 1 年前 ·

捣蛋的茶叶 · 打印UDF日志_云原生大数据计算服务 ...· 1 年前 ·

谦虚好学的花生 · Python版加权基因共表达网络WGCNA分 ...· 1 年前 ·

曾经爱过的南瓜 · idea ...· 2 年前 ·

知识渊博的单车 · Django使用Channels实现webs ...· 2 年前 ·

文章/答案/技术大牛

发布

+--------+-----+
|    col1| col2|
+--------+-----+
|22      | 12.2|
|1       |  2.1|
|5       | 52.1|
|2       | 62.9|
|77      | 33.3|

+--------+----+
|    col1|col2|
+--------+----+
|22      |12.2|
|77      |33.3|

val output = df.where("col1>col2")

+----+----+
|col1|col2|
+----+----+
|  22|12.2|
|  77|33.3|
+----+----+

df_filtered=df.filter(df.col1>df.col2)
df_filtered.show()
+--------+----+

推荐文章

忧郁的作业本 · SecureRandom的正确使用 - eaglediao - 博客园

1 年前

捣蛋的茶叶 · 打印UDF日志_云原生大数据计算服务 MaxCompute(MaxCompute)-阿里云帮助中心

1 年前

谦虚好学的花生 · Python版加权基因共表达网络WGCNA分析 - 知乎

1 年前

曾经爱过的南瓜 · idea 运行java程序不报错，debug调试报错，求各位大佬解决！！！？ - 知乎

2 年前

知识渊博的单车 · Django使用Channels实现websocket-腾讯云开发者社区-腾讯云

2 年前