Databricks Runtime 包含
Azure SQL 数据库
的 JDBC 驱动程序，本文介绍如何使用数据帧 API 连接到使用 JDBC 的 SQL 数据库，通过 JDBC 接口进行的读取操作和更新操作。
在Databricks的Notebook中，spark是Databricks内置的一个SparkSession，可以通过该SparkSession来创建DataFrame、引用DataFrameReader和DataFrameWriter等。
一，创建JDBC URL
本文适用Python语言和JDBC驱动程序来连接Azure SQL Database，
jdbcHostname = "Azure SQL Database"
jdbcDatabase = "db_name"
jdbcPort = 1433
jdbcUsername="user_name"
jdbcPassword="user_password"
jdbcUrl = "jdbc:sqlserver://{0}:{1};database={2}".format(jdbcHostname, jdbcPort, jdbcDatabase)
connectionProperties = {
"user" : jdbcUsername,
"password" : jdbcPassword,
"driver" : "com.microsoft.sqlserver.jdbc.SQLServerDriver"
二，把查询向下推送到数据库引擎
可把整个查询或表向下推送到数据库，且只返回结果。table 参数标识要读取的 JDBC 表。
spark.read.jdbc(url, table, column=None, lowerBound=None, upperBound=None, numPartitions=None, predicates=None, properties=None)
参数注释：
url：JDBC URL
table：表名或查询
column、numPartitions、lowerBound和upperBound：用于指定分区的列名，分区的数量，分区的列的最小值和最大值
predicates：谓词，用于对数据进行过滤，类似于Where子句
properties：JDBC数据库连接参数的字典
1，向下推送表
如果把table设置为表名，那么表示查询整个表。
pushdown_query = "table_name"
df = spark.read.jdbc(url=jdbcUrl, table=pushdown_query, properties=connectionProperties)
display(df)
对查询的结果进行投影和过滤：
spark.read.jdbc(jdbcUrl, table=pushdown_query, connectionProperties).select("carat", "cut", "price").where("cut = 'Good'")
2，向下推送查询
如果向下推送查询，那么需要采用下方的格式：(query) data_alias
pushdown_query = "(select * from employees where emp_no < 10008) emp_alias"
df = spark.read.jdbc(url=jdbcUrl, table=pushdown_query, properties=connectionProperties)
display(df)
三，向下推送更新
通过JDBC，把DataFrame的内容存储到外部数据表中：
spark.write.jdbc(url, table, mode=None, properties=None)
参数注释：
url：JDBC Url
table：外部数据库的表名
mode：数据更新的模式，append、overwrite、ignore、error（默认，如果数据存在，抛出异常）
properties：JDBC数据库连接参数的字典
