选择DataFrame中数组的最后一个元素开发者社区

link之家

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

活泼的太阳 · 专业百字推介文-深圳大学本科招生网· 5 月前 ·

慈祥的针织衫 · 总投资超千亿元！2023世界智能制造大会百余 ...· 5 月前 ·

安静的香菇 · 贾桂德大使在《米兰财经报》发表署名文章《长风 ...· 1 年前 ·

风流的火柴 · 京剧大师梅葆玖：梅兰芳京剧表演艺术对世界戏剧 ...· 1 年前 ·

腹黑的跑步机 · 张昌伟教授专栏丨一例Tubridge治疗BB ...· 1 年前 ·

val singersDF = Seq(
  ("beatles", "help,hey,jude"),
  ("romeo", "eres,mia"),
  ("elvis", "this,is,an,example")
).toDF("name", "hit_songs")
val actualDF = singersDF.withColumn(
  "hit_songs",
  split(col("hit_songs"), "\\,")
actualDF.show(false)
actualDF.printSchema() 
+-------+-----------------------+
|name   |hit_songs              |
+-------+-----------------------+
|beatles|[help, hey, jude]      |
|romeo  |[eres, mia]            |
|elvis  |[this, is, an, example]|
+-------+-----------------------+
 |-- name: string (nullable = true)
 |-- hit_songs: array (nullable = true)
 |    |-- element: string (containsNull = true)

+-------+---------+
|name   |hit_songs|
+-------+---------+
|beatles|jude     |
|romeo  |mia      |
|elvis  |example  |
+-------+---------+

import org.apache.spark.sql.functions._
import spark.implicits._
actualDF.withColumn("hit_songs", $"hit_songs".apply(size($"hit_songs").minus(1)))

actualDF.withColumn("hit_songs", $"hit_songs"(size($"hit_songs").minus(1)))

val actualDF = Seq(
  ("beatles", Seq("help", "hey", "jude")),
  ("romeo", Seq("eres", "mia")),
  ("elvis", Seq("this", "is", "an", "example"))
).toDF("name", "hit_songs")
import org.apache.spark.sql.functions._
actualDF.withColumn("total_songs", size($"hit_songs")).
  select($"name", $"hit_songs"($"total_songs" - 1).as("last_song"))
// +-------+---------+
// |   name|last_song|
// +-------+---------+

推荐文章

活泼的太阳 · 专业百字推介文-深圳大学本科招生网

5 月前

慈祥的针织衫 · 总投资超千亿元！2023世界智能制造大会百余个项目签约

5 月前

安静的香菇 · 贾桂德大使在《米兰财经报》发表署名文章《长风破浪会有时，直挂云帆济沧海》

1 年前

风流的火柴 · 京剧大师梅葆玖：梅兰芳京剧表演艺术对世界戏剧的贡献——“京剧传承与发展国际研究中心”成立四周年纪念成功举办

1 年前

腹黑的跑步机 · 张昌伟教授专栏丨一例Tubridge治疗BBA的心酸故事_支架_血栓_导管

1 年前

问 选择DataFrame中数组的最后一个元素

回答 3

Stack Overflow用户

Stack Overflow用户