YARN 和 Hive 等服务含有大量的配置项。如果您需要调整这些服务的配置项,则可以在集群创建时使用软件自定义配置功能,以修改现有配置或添加新的配置项。
使用限制
软件配置操作仅在集群创建时执行一次。
操作步骤
-
登录 E-MapReduce 控制台 。
-
在顶部菜单栏处,根据实际情况选择地域 和资源组 。
-
在 EMR on ECS 页面,单击 创建集群 。
-
在 软件配置 的 高级设置 区域,开启 软件自定义配置 开关。
您可以添加 JSON 格式的配置文件,在创建集群过程中覆盖或添加集群服务的默认参数。JSON 文件的内容示例如下。
[ "ApplicationName":"YARN", "ConfigFileName":"yarn-site.xml", "ConfigItemKey":"yarn.nodemanager.resource.cpu-vcores", "ConfigItemValue":"8" "ApplicationName":"YARN", "ConfigFileName":"yarn-site.xml", "ConfigItemKey":"aaa", "ConfigItemValue":"bbb" ]-
各参数含义如下表所示。
参数
描述
ApplicationName
服务名,需要全部大写。
ConfigFileName
实际传参的配置文件名称。
说明为确保配置文件正确应用于对应的集群,请注意实际传参时配置文件的命名细节。
-
数据湖(DataLake)、实时数据流(DataFlow)、数据分析(OLAP)、数据服务(DataServing)或自定义场景(Custom)的集群,需要包含后缀。例如,文件名称为
yarn-site.xml。 -
旧版数据湖(hadoop),不需要后缀。例如,文件名称为
yarn-site。
ConfigItemKey
配置项的名称。
ConfigItemValue
该配置项要设置的具体的值。
-
-
各服务的配置文件如下表所示。
服务
配置文件
YARN
-
core-site.xml
-
log4j.properties
-
hdfs-site.xml
-
mapred-site.xml
-
yarn-site.xml
-
httpsfs-site.xml
-
capacity-scheduler.xml
-
hadoop-env.sh
-
httpfs-env.sh
-
mapred-env.sh
-
yarn-env.sh
Hive
-
hive-env.sh
-
hive-site.xml
-
hive-exec-log4j.properties
-
hive-log4j.properties
-
集群组件的参数配置好后,您可以继续创建集群,详情请参见 创建集群 。
-
相关文档
集群创建完成后,您还可以在各服务配置页面直接调整配置项,详情请参见 管理配置项 。