IntelliJ IDEA。 本文使用 IntelliJ IDEA Community 2019.1.3 。

Azure Toolkit for IntelliJ。 请参阅 安装 Azure Toolkit for IntelliJ 。

连接到 HDInsight 群集。 请参阅 连接到 HDInsight 群集 。

Microsoft Azure 存储资源管理器。 请参阅 下载 Microsoft Azure 存储资源管理器 。

使用调试模板创建项目

创建 spark2.3.2 项目以继续失败调试，并使用此文档中的失败任务调试示例文件。

打开 IntelliJ IDEA。 打开“新建项目”窗口。

a. 在左窗格中选择“Azure Spark/HDInsight”。

b. 从主窗口中选择“Spark 项目和失败任务调试示例(预览)(Scala)”。

a. 输入项目名称和项目位置。

b. 在“项目 SDK”下拉列表中，选择适用于 Spark 2.3.2 群集的 Java 1.8 。

c. 在“Spark 版本”下拉列表中，选择“Spark 2.3.2(Scala 2.11.8)”。

d. 选择“完成”。

选择 src > main > scala 打开项目中的代码。 此示例使用 AgeMean_Div() 脚本。

在 HDInsight 群集中运行 Spark Scala/Java 应用程序

执行以下步骤，创建一个 Spark Scala/Java 应用程序，然后在 Spark 群集中运行该应用程序：

单击“添加配置”，打开“运行/调试配置”窗口。

按日志指示设置断点，然后单击本地调试按钮进行本地调试，就像 IntelliJ 中的正常 Scala/Java 项目一样。

调试后，如果项目成功完成，则可将已失败作业重新提交到 Spark on HDInsight 群集。