排查 Hive LLAP 工作负载管理问题

项目
09/14/2023 WM_RESOURCEPLANS (NAME string, STATUS string, QUERY_PARALLELISM int, DEFAULT_POOL_PATH string)
WM_POOLS
WM_MAPPINGS
WM_TRIGGERS
WM_POOLS_TO_TRIGGERS
WLM 指标

可以直接通过“指标转储”选项卡下的 HS2Interactive UI 访问 WLM 指标。
WLM 为资源计划中给定池发布的示例指标。
    "name" : "Hadoop:service=hiveserver2,name=WmPoolMetrics.etl",
    "modelerType" : "WmPoolMetrics.etl",
    "tag.Context" : "HS2",
    "tag.SessionId" : "etl",
    "tag.Hostname" : "hn0-c2b-ll.cu1cgjaim53urggr4psrgczloa.cx.internal.cloudapp.net",
    "NumExecutors" : 10,
    "NumRunningQueries" : 2,
    "NumParallelQueries" : 3,
    "NumQueuedQueries" : 0,
    "NumExecutorsMax" : 10
              HS2Interactive UI 可能不适用于在 2021 年 4 月之前发布的、已启用 ESP（企业安全性套餐）的群集。 在这种情况下，可从自定义的 Grafana 仪表板获取 WLM 相关指标。
指标名称遵循以下模式：
default.General.WM_<pool>_numExecutors
default.General.WM_<pool>_numExecutorsMax
default.General.WM_<pool>_numRunningQueries
default.General.WM_<pool>_numParallelQueries
default.General.WM_<pool>_numQueuedQueries
将 <pool> 替换为相应的池名称即可获取 Grafana 中的指标。
              已启用 WLM 的群集中 Tez AM 的生命周期
与默认的 LLAP 群集相比，已启用 WLM 的群集具有另一组 Tez AM。 如果在 Hive 配置中设置了 hive.server2.tez.interactive.queue=wm，则这些 Tez AM 将计划为在 wm 队列中运行。 

基于资源计划中定义的所有池的 QUERY_PARALLELISM 之和激活 WLM 后，将会生成这些 Tez AM。 

在群集中禁用工作负载管理时，会自动终止这些 Tez AM。
{ DISABLE WORKLOAD MANAGEMENT; }
在已启用 WLM 的 LLAP 群集中，将会基于资源计划配置在查询之间共享资源。 资源共享有时会导致查询速度缓慢。
可对资源计划进行一些优化，以减少池中发生的资源争用。 例如，可将 scheduling_policy 定义为 fair，以保证分配到池的每个查询在群集上获得均等份额的资源；或者将它定义为 fifo，以保证将所有资源分配给第一个进入池中的查询。

以下示例演示如何为资源计划 wlm_basic 中名为 etl 的池设置计划策略：
ALTER POOL wlm_basic.etl SET SCHEDULING_POLICY = fair;
也可以在创建池时设置计划策略：
CREATE POOL wlm_basic.default WITH ALLOC_FRACTION = 0.5, QUERY_PARALLELISM = 2, SCHEDULING_POLICY = fifo;
              在某些特定用例中发生的查询失败
对于以下情况，WLM 中运行的查询可以自动终止：
将“移动触发器”应用到没有任何可用 Tez AM 的查询和目标池后，查询将改为终止。 

上述问题是 WLM 功能的一种设计限制。 要解决此问题，可以增大目标池的 QUERY_PARALLELISM 属性，这样，即使达到了最大负载，提交到群集的查询也能获得此池的支持。 此外，请优化 wm 队列大小以适应此更改。 

禁用 WLM 后，所有进行中的查询都会失败并出现以下异常模式：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Dag received [DAG_TERMINATE, DAG_KILL] in RUNNING state.
手动终止 WLM Tez AM 后，某些查询可能会失败并出现以下模式。 
重新提交后，这些查询应该可以正常运行。
java.util.concurrent.CancellationException: Task was cancelled.
    at com.google.common.util.concurrent.AbstractFuture.cancellationExceptionWithCause(AbstractFuture.java:1349) ~[guava-28.0-jre.jar:?]
    at com.google.common.util.concurrent.AbstractFuture.getDoneValue(AbstractFuture.java:550) ~[guava-28.0-jre.jar:?]
    at com.google.common.util.concurrent.AbstractFuture.get(AbstractFuture.java:513) ~[guava-28.0-jre.jar:?]
    at com.google.common.util.concurrent.AbstractFuture$TrustedFuture.get(AbstractFuture.java:90) ~[guava-28.0-jre.jar:?]
    at com.google.common.util.concurrent.Uninterruptibles.getUninterruptibly(Uninterruptibles.java:237) ~[guava-28.0-jre.jar:?]
    at com.google.common.util.concurrent.Futures.getDone(Futures.java:1064) ~[guava-28.0-jre.jar:?]
    at com.google.common.util.concurrent.Futures$CallbackListener.run(Futures.java:1013) ~[guava-28.0-jre.jar:?]
    at com.google.common.util.concurrent.DirectExecutor.execute(DirectExecutor.java:30) ~[guava-28.0-jre.jar:?]
    at com.google.common.util.concurrent.AbstractFuture.executeListener(AbstractFuture.java:1137) ~[guava-28.0-jre.jar:?]
    at com.google.common.util.concurrent.AbstractFuture.complete(AbstractFuture.java:957) ~[guava-28.0-jre.jar:?]
    at com.google.common.util.concurrent.AbstractFuture.cancel(AbstractFuture.java:611) ~[guava-28.0-jre.jar:?]
    at com.google.common.util.concurrent.AbstractFuture$TrustedFuture.cancel(AbstractFuture.java:118) ~[guava-28.0-jre.jar:?]
    at org.apache.hadoop.hive.ql.exec.tez.WmTezSession$TimeoutRunnable.run(WmTezSession.java:264) ~[hive-exec-3.1.3.4.1.3.6.jar:3.1.3.4.1.3.6]
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) [?:1.8.0_275]
    at java.util.concurrent.FutureTask.run(FutureTask.java:266) [?:1.8.0_275]
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) ~[?:1.8.0_275]
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) ~[?:1.8.0_275]
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) [?:1.8.0_275]
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) [?:1.8.0_275]
    at java.lang.Thread.run(Thread.java:748) [?:1.8.0_275]
如果为目标 LLAP 群集启用了 WLM 功能，则通过 Hive Warehouse Connector (HWC) 提交的 Spark 作业可能会间歇性失败。 

若要避免上述问题，客户可以使用两个 LLAP 群集，并在其中一个群集中启用 WLM，在另一个群集中不启用 WLM。
然后，客户可以使用 HWC 将其 Spark 群集连接到未启用 WLM 的 LLAP 群集。
              DISABLE WORKLOAD MANAGEMENT; 命令有时会长时间挂起。 

取消该命令，并使用以下命令检查资源计划的状态：
              SHOW RESOURCE PLANS; 在再次运行 DISABLE WORKLOAD MANAGEMENT 命令之前，检查是否提供了有效的资源计划；

某些 Tez AM 可能会一直保持运行，使用 DISABLE WORKLOAD MANAGEMENT 命令或重启 HS2 无法将其终止。 

可在禁用工作负载管理后，通过 yarn UI 或 yarn console application 终止这些 Tez AM。
              Hive LLAP 工作负载管理
              Hive LLAP 工作负载管理命令摘要

			即将发布：在整个 2024 年，我们将逐步淘汰作为内容反馈机制的“GitHub 问题”，并将其取代为新的反馈系统。 有关详细信息，请参阅：https://aka.ms/ContentUserFeedback。
        
提交和查看相关反馈