博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop队列管理(指定queue跑程序)
阅读量:4455 次
发布时间:2019-06-08

本文共 1409 字,大约阅读时间需要 4 分钟。

hadoop 升级到cdh5后,队列管理被取消,而是统一用资源池分配。 

hadoop2.0版本,Hadoop采用了平级队列组织方式,,管理员可将用户分到若干个扁平队列中,在每个队列中,可指定一个或几个队列管理员管理这些用户,比如杀死任意用户的作业,修改任意用户作业的优先级。

但这还不够,需要将资源划分到这几个队列中,并按照一定的策略完成资源分配,这就需要Hadoop作业调度器的支持。

总之,在Hadoop中,队列的组织是队列管理和资源分配的基础。

线上环境,设置成三个队列,分别是default,queue1,queue2,queue3。

在编写代码时,设定

Configuration conf = new Configuration();

conf.set("mapred.job.queue.name", "queue3");

使用queue3跑程序,任务少,资源相对充足。

Hadoop 队列管理:

配置Queue相关信息

•配置属性在mapre-site.xml

配置Queue的相关信息

<property>

 <name>mapred.acls.enabled</name>

 <value>true</value>

</property>

<property>

 <name>mapred.queue.names</name>

 <value>test,default</value>

</property> 属性mapred.queue.names 是 queue 的所有名字,在这一名字中,必须有一个叫“ default”的 queue

<property>

 <name>mapred.queue.my_queue.acl-submit-job</name>

 <value> test</value>

</property>

 

 

<property>

 <name>mapred.queue.default.acl-administer-jobs</name>

 <value></value>

</property>

<property>

 <name>mapred.queue.my_queue.acl-administer-jobs</name>

 <value></value>

</property>

 

 

 

mapred.queue.names是queue的所有名字

•必须有一个叫“default”的queue

• mapred.queue.<queue-name>.acl-submit-job,指定哪些user或者group可以向该queue中提交作业

•mapred.queue.<queue-name>.acl-administer-jobs,指定哪些user或者group可以管理该queue中的所有作业。

• 每个queue拥有的资源量和其他信息,在其他配置文件里指定

• mapred.queue.<queue-name>.acl-submit-job和mapred.queue.<queue-name>.acl-administer-jobs配置方法如下:

     用户和用户组之间用空格分开,用户之间用“,”分割,用户组之间用“,”分割,如果queue的属性值中只有用户组,则前面保留一个空格。

 

转载于:https://www.cnblogs.com/cl1024cl/p/6205431.html

你可能感兴趣的文章
自定义配置文件的使用
查看>>
js-20170609-运算符
查看>>
算法笔记_065:分治法求逆序对(Java)
查看>>
MSP430FLASH小结
查看>>
STM32 ADC转换时间
查看>>
结合实际业务场景聊一聊MVP模式的应用
查看>>
我爱 哐 哐 哐,我是哐人类!-【废话区】
查看>>
WinPE启动U盘的制作方法与软件下载(通用PE工具箱/老毛桃/大白菜WinPE)(转载)...
查看>>
行为型设计模式之5--中介者模式
查看>>
Android DevArt6:Android中IPC的六种方式
查看>>
oracle练习题
查看>>
PMP学习感想
查看>>
Zookeeper全解析——Paxos作为灵魂
查看>>
集合-强大的集合工具类:java.util.Collections中未包含的集合工具
查看>>
CSS清除浮动
查看>>
数据库基础-数据库常用命令总结
查看>>
java8 按对象属性值排序
查看>>
[转帖]nvidia nvlink互联与nvswitch介绍
查看>>
【转帖】国产x86处理器KX-6000发布
查看>>
04-js的运算符
查看>>