Spark DataSource Option 参数__spark datasource v2

link之家

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

风流的开水瓶 · Rollup 与 Webpack 的 ...· 2 年前 ·

温文尔雅的领带 · C#固定大小缓冲区及使用指针复制数据详解_C ...· 2 年前 ·

稳重的葫芦 · 万字长文：LLM - 大语言模型发展简史 ...· 2 年前 ·

从未表白的眼镜 · 推荐收藏！2023 ...· 2 年前 ·

谦逊的苦瓜 · 可能是最好的正则表达式的教程笔记了吧... ...· 2 年前 ·

3.csv

https://docs.databricks.com/spark/latest/data-sources/read-csv.html#supported-options

4.text wholetext false 默认情况下，文本文件中的每一行都是生成的DataFrame中的新行。如果为true，则将文件作为单行读取，而不是按"\n"拆分。 5.jdbc

http://spark.apache.org/docs/latest/sql-data-sources-jdbc.html

要连接的JDBC URL，可以再URL中指定特定于源的连接属性 dbtable 应该读取或写入的JDBC表 query 将数据读入Spark的查询语句 driver “com.mysql.jdbc.Driver” 用于连接到此URL的JDBC驱动程序的类名 numPartitions 表读取和写入中可用于并行的最大分区数，同时确定了最大并发的JDBC连接数 partitionColumn,lowerBound,upperBound 如果指定了任一选项，则必须指定全部选项。此外，还必须指定numPartitions。partitionColumn必须是表中的数字，日期或时间戳列。注意：lowerBound和upperBound（仅用于决定分区步幅，而不是用于过滤表中的行。因此，表中的所有行都将被分区并返回，这些选项仅用于读操作。） queryTimeout 超时时间（单位：秒），零意味着没有限制 fetchsize 用于确定每次往返要获取的行数（例如Oracle是10行），可以用于提升JDBC驱动程序的性能。此选项仅适用于读 batchsize JDBC批处理大小，用于确定每次往返要插入的行数。这可以用于提升 JDBC 驱动程序的性能。此选项仅适用于写。 isolationLevel READ_UNCOMMITTED 事务隔离级别，适用于当前连接。它可以是 NONE，READ_COMMITTED，READ_UNCOMMITTED，REPEATABLE_READ 或 SERIALIZABLE 之一，对应于 JDBC的Connection 对象定义的标准事务隔离级别，默认值为 READ_UNCOMMITTED。此选项仅适用于写。 sessionInitStatement 在向远程数据库打开每个数据库会话之后，在开始读取数据之前，此选项将执行自定义SQL语句（或PL / SQL块）。使用它来实现会话初始化，例如：option(“sessionInitStatement”, “”“BEGIN execute immediate ‘alter session set “_serial_direct_read”=true’; END;”"") truncate false 当启用SaveMode.Overwrite时，此选项会导致 Spark 截断现有表，而不是删除并重新创建它。这样更高效，并且防止删除表元数据（例如，索引）。但是，在某些情况下，例如新数据具有不同的 schema 时，它将无法工作。此选项仅适用于写。 cascadeTruncate false 如果JDBC数据库（目前为 PostgreSQL和Oracle）启用并支持，则此选项允许执行TRUNCATE TABLE t CASCADE（在PostgreSQL的情况下，仅执行TRUNCATE TABLE t CASCADE以防止无意中截断表）。这将影响其他表，因此应谨慎使用。此选项仅适用于写。 createTableOptions 此选项允许在创建表时设置特定于数据库的表和分区选项（例如，CREATE TABLE t (name string) ENGINE=InnoDB）。此选项仅适用于写。 createTableColumnTypes 创建表时要使用的数据库列数据类型而不是默认值。（例如：name CHAR（64），comments VARCHAR（1024））。指定的类型应该是有效的 spark sql 数据类型。此选项仅适用于写。 customSchema 用于从JDBC连接器读取数据的自定义 schema。例如，id DECIMAL(38, 0), name STRING。您还可以指定部分字段，其他字段使用默认类型映射。例如，id DECIMAL（38,0）。列名应与JDBC表的相应列名相同。用户可以指定Spark SQL的相应数据类型，而不是使用默认值。此选项仅适用于读。 pushDownPredicate 用于启用或禁用谓词下推到 JDBC数据源的选项。默认值为 true，在这种情况下，Spark会尽可能地将过滤器下推到JDBC数据源。否则，如果设置为 false，则不会将过滤器下推到JDBC数据源，此时所有过滤器都将由Spark处理。 6.libsvm

https://spark.apache.org/docs/latest/api/java/org/apache/spark/ml/source/libsvm/LibSVMDataSource.html

对数据格式有要求，比如：

1 1:-0.222222 2:0.5 3:-0.762712 4:-0.833333 
1 1:-0.555556 2:0.25 3:-0.864407 4:-0.916667 
1 1:-0.722222 2:-0.166667 3:-0.864407 4:-0.833333 
1 1:-0.722222 2:0.166667 3:-0.694915 4:-0.916667 
0 1:0.166667 2:-0.416667 3:0.457627 4:0.5 
1 1:-0.833333 3:-0.864407 4:-0.916667 
2 1:-1.32455e-07 2:-0.166667 3:0.220339 4:0.0833333 
2 1:-1.32455e-07 2:-0.333333 3:0.0169491 4:-4.03573e-08 
numFeatures
特征数：如果未指定或非正数，则将自动确定特征的数量，这会有额外的性能损耗。
vectorType
sparse
特征向量类型：sparse（稀疏）或者 dense（密集）。
7.image 
https://spark.apache.org/docs/latest/ml-datasource#image-data-source 
8.json 
https://docs.databricks.com/spark/latest/data-sources/read-json.html 
primitivesAsString
false
将所有 原始类型 推断为 字符串类型
prefersDecimal
false
将所有 浮点类型 推断为 decimal 类型，如果不适合，则 推断为 double 类型
allowComments
false
忽略JSON记录中的Java / C ++样式注释
allowUnquotedFieldNames
false
允许不带引号的JSON字段名称
allowSingleQuotes
除双引号外，还允许使用单引号
allowNumericLeadingZeros
false
允许数字前有零
allowBackslashEscapingAnyCharacter
false
允许反斜杠转义任何字符
allowUnquotedControlChars
false
允许JSON字符串包含不带引号的控制字符（值小于32的ASCII字符，包括制表符和换行符）或不包含。
PERMISSIVE
PERMISSIVE：允许在解析过程中处理损坏记录； DROPMALFORMED：忽略整个损坏的记录；FAILFAST：遇到损坏的记录时抛出异常。
columnNameOfCorruptRecord
columnNameOfCorruptRecord（默认值是spark.sql.columnNameOfCorruptRecord中指定的值）：允许重命名由PERMISSIVE 模式创建的新字段（存储格式错误的字符串）。这会覆盖spark.sql.columnNameOfCorruptRecord。
dateFormat
dateFormat（默认yyyy-MM-dd）：设置表示日期格式的字符串。自定义日期格式遵循java.text.SimpleDateFormat中的格式。
timestampFormat
timestampFormat（默认yyyy-MM-dd’T’HH：mm：ss.SSSXXX）：设置表示时间戳格式的字符串。 自定义日期格式遵循java.text.SimpleDateFormat中的格式。
multiLine
false
解析可能跨越多行的一条记录
9.xml 
https://github.com/databricks/spark-xml 
9.1读选项 
读文件路径
rowTag
处理的 xml文件 的行标记。 例如，在xml … </ books> 中，rowTag 是 book。
samplingRatio
推断模式的采样率（0.0 ~ 1）。可能的类型是StructType，ArrayType，StringType，LongType，DoubleType，BooleanType，TimestampType 和 NullType
excludeAttribute
false
是否要排除元素中的属性
nullValue
“null”
读入空值的值，默认值为字符串 null
PERMISSIVE
PERMISSIVE：允许在解析过程中处理损坏记录； DROPMALFORMED：忽略整个损坏的记录；FAILFAST：遇到损坏的记录时抛出异常。
inferSchema
如果为true，则尝试为每个生成的DataFrame列推断适当的类型，如布尔值，数字或日期类型。 如果为false，则所有结果列都是字符串类型。
columnNameOfCorruptRecord
_corrupt_record
存储格式错误字符串的新字段的名称
attributePrefix
属性的前缀，以便我们可以区分属性和元素。这将是字段名称的前缀。
valueTag
_VALUE
当元素中没有子元素的属性时，用于值的标记。
charset
UTF-8
ignoreSurroundingSpaces
false
定义 是否应跳过 正在读取的值 的 周围空格。
9.2写选项 
写文件路径
rowTag
处理的 xml文件 的行标记。 例如，在xml … </ books> 中，rowTag 是 book。
rootTag
处理的xml文件的根标记。 例如，在xml … </ books> 中，rootTag 是 books。
nullValue
“null”
入空值的值。默认值 为 字符串 null。如果 为 null，则不会 为字段 写入 属性和元素。
attributePrefix
属性的前缀，以便我们可以区分属性和元素。这将是字段名称的前缀。
valueTag
_VALUE
当元素中没有子元素的属性时，用于值的标记。
compression
保存到文件时使用的压缩编解码器。应该是实现 org.apache.hadoop.io.compress.CompressionCodec 的某个类的完全限定名，或者是一个不区分大小写的简写（bzip2，gzip，lz4 和 snappy）。未指定编解码器时，默认为无压缩。
10.excel 
https://github.com/crealytics/spark-excel