我们想从 spark 3.0.1 迁移到 3.1.2。根据迁移指南,表模式中现在支持varchar数据类型了。不幸的是,新版本的数据不能被旧版本的spark查询,因为旧版本的spark在表结构中认为varchar是一个字符串。根据
迁移指南
,在Spark Session配置中应用
spark.sql.legacy.charVarcharAsString
到
true
,应该可以解决这个问题,但是我们在hive表模式中仍然得到varchar数据类型而不是字符串。
如何解决 "转换JSON字符串'varchar(2)'为数据类型失败"。
0
人关注