在pySpark中解析高度嵌套的JSON数据

使用 Spark Session读取JSON文件，并将其转换为DataFrame

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("nested_json").getOrCreate()
df = spark.read.json("path/to/nested/json/file")
使用explode函数展开嵌套的JSON数据
from pyspark.sql.functions import explode, col
exploded_df = df.select(explode(col("root")).alias("exploded"))
提取展开后的DataFrame中的每个属性
nested_df = exploded_df.select(
    col("exploded.first_level_attribute").alias("first_level_attribute"), 
    col("exploded.second_level_array.first_item").alias("second_level_array_first_item"), 
    col("exploded.second_level_array.second_item.third_level_attribute").alias("third_level_attribute")
对于具有多个级别的嵌套结构，重复使用explode和select语句
df_nested = df.select(explode(col("root")).alias("nested1"))
df_double_nested = df_nested.select(
    col("nested1.first_level_attribute").alias("first_level_attribute"), 
    explode(col("nested1.second_level_array")).alias("nested2")
df_triple_nested = df_double_nested.select(
    col("first_level_attribute"), 
    col("nested2.first_item").alias("second_level_array_first_item"), 
    explode(col("nested2.second_item")).alias("nested3")
nested_df = df_triple_nested.select(
    col("first_level_attribute"), 
    col("second_level_array_first_item"), 
    col("nested3.third_level_attribute").alias("third_level_attribute")
使用结果DataFrame进行进一步的数据处理和分析。