配置NodeLabels_开源大数据平台 E-MapReduce(EMR)-阿里云帮助中心

本文为您介绍 YARN Node Labels 特性、使用方式和常见问题。

基本介绍

YARN Node Labels 特性支持将 YARN NodeManager 节点进行分区管理。因为一个节点只能设置属于某一个 Node Label，所以可以使用 Node Label 将整个 YARN 集群划分为不相交的节点集合。默认节点属于 DEFAULT 分区（ partition="" ，空字符串）。

分区又可以配置为两类：

exclusive 分区：只允许请求和该分区匹配的容器调度到该分区的节点上。
non-exclusive 分区：除了分配该分区容器请求外，还允许在有空闲资源时将请求为 DEFAULT 分区的容器调度上来（或请求未特殊制定分区）。

目前只有 Capacity Scheduler 调度器支持 Node Labels 分区调度，您可以通过调度器配置或者计算引擎 node-label-expression 参数让队列上的任务容器调度到队列可访问的分区上。

更详细的 Node Labels 特性说明，请参见 YARN Node Labels 。

使用限制

EMR-5.11.1 之前版本和 EMR-3.45.1 之前版本，且 yarn-site.xml 配置文件中 yarn.node-labels.configuration-type 配置项值为 centralized 时，可以按照本文档进行配置。
EMR-5.11.1 及之后版本、EMR-3.45.1 及之后版本支持在 EMR 控制台管理 YARN 分区，具体操作请参见 EMR 控制台管理 YARN 分区。

使用方式

在控制台配置开启 Node Labels 特性

在 EMR 控制台 YARN 服务配置页面的 yarn-site.xml 页签中，添加以下配置项，然后保存并重启 ResourceManager 组件生效。

Key	Value	说明
yarn.node-labels.enabled	true	特性总开关。
yarn.node-labels.fs-store.root-dir	/tmp/node-labels	默认 centralized 配置模式下 node label，信息存储位置可自行规划。

# 使用YARN默认管理员hadoop账户执行
sudo su - hadoop
# 添加分区
yarn rmadmin -addToClusterNodeLabels "DEMO"
yarn rmadmin -addToClusterNodeLabels "CORE"
# 列出YARN节点列表
yarn node -list
# 配置指定节点分区映射
yarn rmadmin -replaceLabelsOnNode "core-1-1.c-XXX.cn-hangzhou.emr.aliyuncs.com=DEMO"
yarn rmadmin -replaceLabelsOnNode "core-1-2.c-XXX.cn-hangzhou.emr.aliyuncs.com=DEMO"

配置项	值	说明
yarn.scheduler.capacity.<queue-path>.accessible-node-labels	逗号分割的分区列表。	指定队列的可访问分区列表。
yarn.scheduler.capacity.<queue-path>.accessible-node-labels.<label>.capacity	值规则可参考 yarn.scheduler.capacity.<queue-path>.capacity	指定队列在指定可访问分区的资源容量。
yarn.scheduler.capacity.<queue-path>.accessible-node-labels.<label>.maximum-capacity	值规则可参考 yarn.scheduler.capacity.<queue-path>.maximum-capacity ，默认值为 100。	指定队列在指定可访问分区的可超用的最大资源容量。
yarn.scheduler.capacity.<queue-path>.default-node-label-expression	分区名，默认为空字符串代表 DEFAULT 分区。	指定队列所提交作业中没有特别指定分区的容器请求所使用的默认分区。

<configuration>
  <!-- 在XML中Node Label相关新增配置项 -->
  <property>
    <!-- 配置default队列可访问DEMO分区，必须 -->
    <name>yarn.scheduler.capacity.root.default.accessible-node-labels</name>
    <value>DEMO</value>
  </property>
  <property>
    <!-- 配置default队列所有祖先队列DEMO分区容量，必须 -->
    <name>yarn.scheduler.capacity.root.accessible-node-labels.DEMO.capacity</name>
    <value>100</value>
  </property>
  <property>
    <!-- 配置default队列在DEMO分区容量，必须 -->
    <name>yarn.scheduler.capacity.root.default.accessible-node-labels.DEMO.capacity</name>
    <value>100</value>
  </property>
  <property>
    <!-- 配置default队列在DEMO分区最大容量，可选，默认为100 -->
    <name>yarn.scheduler.capacity.root.default.accessible-node-labels.DEMO.maximum-capacity</name>
    <value>100</value>
  </property>
  <property>
    <!-- 配置default队列作业容器请求默认提交分区，可选，默认为DEFAULT分区"" -->
    <name>yarn.scheduler.capacity.root.default.default-node-label-expression</name>
    <value>DEMO</value>
  </property>
<configuration>

引擎	配置项	说明
MapReduce	mapreduce.job.node-label-expression	作业所有容器默认使用的节点分区。
	mapreduce.job.am.node-label-expression	ApplicationMaster 使用的节点分区。
	mapreduce.map.node-label-expression	map 子任务使用的节点分区。
	mapreduce.reduce.node-label-expression	reduce 子任务使用的节点分区。
Spark	spark.yarn.am.nodeLabelExpression	ApplicationMaster 使用的节点分区。
Spark	spark.yarn.executor.nodeLabelExpression	Executor 使用的节点分区。
Flink	yarn.application.node-label	作业所有容器默认使用的节点分区
Flink	yarn.taskmanager.node-label	TaskManager 使用的节点分区，Flink 版本 1.15.0 开始支持，对应 EMR-3.44.0（3x 系列）、EMR-5.10.0 （5x 系列）。

基本介绍

使用限制

使用方式

在控制台配置开启 Node Labels 特性

命令添加相关 Node Labels 分区并建立节点映射

CapacityScheduler 配置队列的可访问分区、作业使用的分区

常见问题

高可用集群必须将 centralized 模式 Node Labels 数据存储在分布式文件系统中?

添加节点分区映射时为什么不指定 NodeManager 端口？

Node Labels 适用的场景？

相关文档