&& 13:22:25&
好人一生平安！
&& 14:40:36&
楼主膜拜 虽然我是写quick cocos2dx的不过还是受益了
&& 10:25:06&
&& 17:39:49&
S兄，我想问下关于弱引导，移动某些UI面板时候如何处理已经画出来的引导(箭头，内空的框框等),最近在做这个，由于不得法，遇到了不小麻烦，很容易引起BUG
&& 21:50:04&
你可以参考我的这篇帖子里介绍的做法，把引导部分逻辑写在相应的类里面，然后使用需要引导用户关注的元件的getBounds方法获得其边框后根据此边框进行绘制引导标示符，若位置发生移动则需要重新取一次边框进行重绘
&& 9:39:10&
嘿， 跟我写的差不多， 我的也叫 GuideManager， 也有pause， stop， start， inStep之类的方法， 不过显示引导是专门另外一个类本文汇总了几个hadoop yarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop 2.2.0以及以上版本。
（1） 默认情况下，各个节点的负载不均衡（任务数目不同），有的节点很多任务在跑，有的没有任务，怎样让各个节点任务数目尽可能均衡呢？
答： 默认情况下，资源调度器处于批调度模式下，即一个心跳会尽可能多的分配任务，这样，优先发送心跳过来的节点将会把任务领光（前提：任务数目远小于集群可以同时运行的任务数量），为了避免该情况发生，可以按照以下说明配置参数：
如果采用的是fair scheduler，可在yarn-site.xml中，将参数yarn.scheduler.fair.max.assign设置为1（默认是-1,）
如果采用的是capacity scheduler（默认调度器），则不能配置，目前该调度器不带负载均衡之类的功能。
当然，从hadoop集群利用率角度看，该问题不算问题，因为一般情况下，用户任务数目要远远大于集群的并发处理能力的，也就是说，通常情况下，集群时刻处于忙碌状态，没有节点一直空闲着。
（2）某个节点上任务数目太多，资源利用率太高，怎么控制一个节点上的任务数目?
答：一个节点上运行的任务数目主要由两个因素决定，一个是NodeManager可使用的资源总量，一个是单个任务的资源需求量，比如一个NodeManager上可用资源为8 GB内存，8 cpu，单个任务资源需求量为1 GB内存，1cpu，则该节点最多运行8个任务。
NodeManager上可用资源是由管理员在配置文件yarn-site.xml中配置的，相关参数如下：
yarn.nodemanager.resource.memory-mb：总的可用物理内存量，默认是8096
yarn.nodemanager.resource.cpu-vcores：总的可用CPU数目，默认是8
对于MapReduce而言，每个作业的任务资源量可通过以下参数设置：
mapreduce.map.memory.mb：物理内存量，默认是1024
mapreduce.map.cpu.vcores：CPU数目，默认是1
注：以上这些配置属性的详细介绍可参考文章：。
默认情况，各个调度器只会对内存资源进行调度，不会考虑CPU资源，你需要在调度器配置文件中进行相关设置，具体可参考文章：和。
（3）如何设置单个任务占用的内存量和CPU数目？
答：对于MapReduce而言，每个作业的任务资源量可通过以下参数设置：
mapreduce.map.memory.mb：物理内存量，默认是1024
mapreduce.map.cpu.vcores：CPU数目，默认是1
需要注意的是，默认情况，各个调度器只会对内存资源进行调度，不会考虑CPU资源，你需要在调度器配置文件中进行相关设置。
（4） 用户给任务设置的内存量为1000MB，为何最终分配的内存却是1024MB？
答：为了易于管理资源和调度资源，Hadoop YARN内置了资源规整化算法，它规定了最小可申请资源量、最大可申请资源量和资源规整化因子，如果应用程序申请的资源量小于最小可申请资源量，则YARN会将其大小改为最小可申请量，也就是说，应用程序获得资源不会小于自己申请的资源，但也不一定相等；如果应用程序申请的资源量大于最大可申请资源量，则会抛出异常，无法申请成功；规整化因子是用来规整化应用程序资源的，应用程序申请的资源如果不是该因子的整数倍，则将被修改为最小的整数倍对应的值，公式为ceil(a/b)*b，其中a是应用程序申请的资源，b为规整化因子。
以上介绍的参数需在yarn-site.xml中设置，相关参数如下：
yarn.scheduler.minimum-allocation-mb：最小可申请内存量，默认是1024
yarn.scheduler.minimum-allocation-vcores：最小可申请CPU数，默认是1
yarn.scheduler.maximum-allocation-mb：最大可申请内存量，默认是8096
yarn.scheduler.maximum-allocation-vcores：最大可申请CPU数，默认是4
对于规整化因子，不同调度器不同，具体如下：
FIFO和Capacity Scheduler，规整化因子等于最小可申请资源量，不可单独配置。
Fair Scheduler：规整化因子通过参数yarn.scheduler.increment-allocation-mb和yarn.scheduler.increment-allocation-vcores设置，默认是1024和1。
通过以上介绍可知，应用程序申请到资源量可能大于资源申请的资源量，比如YARN的最小可申请资源内存量为1024，规整因子是1024，如果一个应用程序申请1500内存，则会得到2048内存，如果规整因子是512，则得到1536内存。
（5）我们使用的是Fairscheduler，配置了多个队列，当用户提交一个作业，指定的队列不存在时，Fair Scheduler会自动创建一个新队列而不是报错（比如报错：队列XXX不存在），如何避免这种情况发生？
答：在yarn-site.xml中设置yarn.scheduler.fair.allow-undeclared-pools，将它的值配置为false（默认是true）。
&原文链接:
阅读排行榜查看: 32789|回复: 6
nodemanager启动后自动关闭了，会是什么原因？
主题帖子积分
注册会员, 积分 197, 距离下一级还需 3 积分
注册会员, 积分 197, 距离下一级还需 3 积分
在主机上启动hadoop集群，然后使用jps查看主从机上的进城状态，能够看到主机上的resourcemanager和各个从机上的nodemanager，但是过一段时间后，从机上的nodemanager就没有了，主机上的resourcemanager还在，这是什么原因呢？
主题帖子积分
本帖最后由 nettman 于
13:39 编辑
具看日志，这个能精准定位。
大部分是都是配置文件、权限的问题。
欢迎加入about云群 、 ，云计算爱好者群，关注
主题帖子积分
注册会员, 积分 197, 距离下一级还需 3 积分
注册会员, 积分 197, 距离下一级还需 3 积分
本帖最后由 nettman 于
13:39 编辑
具看日志，这个能精准定位。Hadoop日志位置在哪里？确切日 ...
查看日志了，原因是连接Call From slave1/10.145.188.151 to 0.0.0.0:8031 failed on connection exception，我知道8031端口是yarn.resourcemanager.resource-tracker.address的默认端口，但我在yarm-site.xml中配置这个参数已经改了端口，为什么前面的IP地址还是0.0.0.0啊？
主题帖子积分
查看日志了，原因是连接Call From slave1/10.145.188.151 to 0.0.0.0:8031 failed on connection excepti ...
这个ip代表的是你本地，看看hostname、防火墙等是不是出问题了。
欢迎加入about云群 、 ，云计算爱好者群，关注
主题帖子积分
如果都没有问题的，再看看自己的配置项：
参考这个，对于hadoop2.2以上都适用
欢迎加入about云群 、 ，云计算爱好者群，关注
主题帖子积分
注册会员, 积分 197, 距离下一级还需 3 积分
注册会员, 积分 197, 距离下一级还需 3 积分
如果都没有问题的，再看看自己的配置项：
参考这个，对于hadoop2.2以上都适用
hadoop2.2完全分布式最新高 ...
我是在从机上查看的nodemanager的yarn-hadoop-nodemanager-slave1.log文件，它怎么是连接0.0.0.0:8031这个地址呢，0.0.0.0代表的是本地，应该连接主机的8031端口才是正确的。如果我主机IP是10.15.15.15，从机应该连接10.15.15.15:8031才对，怎么改成连接主机呢？连接本地(从机自己)肯定是不对的。
主题帖子积分
我是在从机上查看的nodemanager的yarn-hadoop-nodemanager-slave1.log文件，它怎么是连接0.0.0.0:8031这 ...
你改一下这个配置文件：
yarn-site.xml
&configuration&
& && &&&&property&
& && && && && &&name&yarn.nodemanager.aux-services&/name&
& && && && && &&value&mapreduce_shuffle&/value&
& && &&&&/property&
& && &&&&property&& && && && && && && && && && && && && && && && && && && && && &
&name&yarn.nodemanager.aux-services.mapreduce.shuffle.class&/name&
& && && && && &&value&org.apache.hadoop.mapred.ShuffleHandler&/value&
& && &&&&/property&
& && &&&&property&
& && && && && &&name&yarn.resourcemanager.address&/name&
& && && && && &&value&master:8032&/value&
& && & &/property&
& && & &property&
& && && && && &&name&yarn.resourcemanager.scheduler.address&/name&
& && && && && &&value&master:8030&/value&
& && & &/property&
& && & &property&
& && && && &&name&yarn.resourcemanager.resource-tracker.address&/name&
& && && && & &value&master:8031&/value&
& && &&/property&
& && &&property&
& && && && &&&&name&yarn.resourcemanager.admin.address&/name&
& && && && && &&value&master:8033&/value&
& && & &/property&
& && & &property&
& && && && && &&name&yarn.resourcemanager.webapp.address&/name&
& && && && && &&value&master:8088&/value&
& && & &/property&
&/configuration&记得上面需要修改自己的host。如果配置不正确，还是会出问题的。
再次建议你从整体来看看自己的集群是否正确，参考
欢迎加入about云群 、 ，云计算爱好者群，关注
站长推荐 /6
about云|新出视频，openstack零基础入门，解决你ping不通外网难题
云计算hadoop视频大全(新增 yarn、flume|storm、hadoop一套视频
视频资料大优惠
大数据零基础由入门到实战
阶段1：hadoop零基础入门基础篇
阶段2：hadoop2入门
阶段3：大数据非hadoop系列课程
阶段4：项目实战篇
阶段5：大数据高级系列应用课程
阶段6：工作实用系列教程
等待验证会员请验证邮箱
新手获取积分方法
Powered by我是一名特种兵 在一次执行任务的时候误杀人质 从而退役 但是我适应不了外界的生活 有次 睡觉的时候_百度知道
我是一名特种兵 在一次执行任务的时候误杀人质 从而退役 但是我适应不了外界的生活 有次 睡觉的时候
我是一名特种兵 在一次执行任务的时候误杀人质 从而退役 但是我适应不了外界的生活 有次 睡觉的时候 工友把我拍醒 我条件反射的擒拿 把他胳膊弄脱臼了 之后换了几分工作 都因为这种条件反射发生的意外从而被辞退 甚至有一次 我女朋友从后面向我跑过来 准备从后面跳到我背上时 我感觉到后面有危险 本能的转身侧踢 她住了四天院 之后跟我分手 说跟我在一起没有意思 一点玩笑都不能开 这样下去我怕我会承受不了社会的压力 去做雇佣兵 到底该怎么办
提问者采纳
有机会切磋下 我也是特种兵 猎人集训队的
你为什么退役
因为我觉得我自己可以了
你怎么适应社会
我很适应性 投入人群从天再来 一名军人学不会克制自己就不言而喻了
我克制不了自己的条件反射
有一次甚至直接把拳头挥向对方的脖子 现在想想都后怕
你哪个部队的？
哪个军区的 怎么我不知道？
北京军区 隶属中央
没听说过 我在西南猎豹
你是不是她一样的特种兵？
你是什么兵种
西南猎豹特种兵
执行任务时杀过人吗
我是猎人集训队的 无可奉告
嗯 保密条例 但是我冒失了
提问者评价
太给力了，你的回答完美解决了我的问题！
其他类似问题
为您推荐：
其他26条回答
别去做民工啊。如果通过了，经常感冒，我羡慕还羡慕不来呢，一下子从部队出来是适应不了社会的，但是身体盯不住啊。你部队出来这么好的身体条件，可以去考cpa，慢慢过渡，原本以为注会也很轻松，前几次考初级中级很轻松就过了。我也在考cpa。而且你本来就应该上学的。我体 质比一般人差，司法考试，如果不大还是去上学吧。所以很羡慕那些6块腹肌2块腹肌从来不生病的纯爷们，你这样的条件你多大，这辈子都不愁了
21别人刚进大学呢。还有，早恋可不好
你要是把身体给我多好
进部队锻炼一年就好了
问题是一进去就说2年，又不是2个月。找女朋友比较要紧
你们平时怎么练的，能发给我吗
新兵学不到什么 出操 体能训练 军方格斗
你们特种部队有没有真的像电视放的那样训练
我是特种兵系列
每天早晚5公里
几年前的事 我都忘了 除了吃饭睡觉就是各种训练
还有，我看了下你的回答，建议你以后游戏别玩了，有空看看书，可以去旅游。我以前也沉迷魔兽世界，高中到大学毕业7年，觉得不玩魔兽还能干什么。离开魔兽后开始几天失魂落魄，无所事事，但是时间久了发现还有好多事情可以做。
其实我没当过兵，是因为我毕业24了，没有时间。但是心里一直有个情节，感觉当兵的人好帅啊，不光女的喜欢，男的都要嫉妒
上次在机场看到一对兵齐刷刷走过去，我就有道感感想
你觉得一周锻炼三次，先8的速度十分钟，然后器械，然后8的速度半小时，然后游泳，和你们的训练量比怎么样
我们是为了生存训练
你们又不打仗
都是为了生存训练
我们执行任务的时候随时都会死
什么任务啊，你今年21.几年前十八九岁，执行任务让小孩子去?
抱歉任务属于保密条例
哦，作为外人，不能理解也实在想不出你们执行什么任务，不过貌似很危险，怪不得你要条件反射了
这样的部队退伍，国家没有分配吗
有 国家预备役 每年有薪资
薪资多少，为什么不选呢
那28岁以后呢
每年两万 预备役不属于正规队部 在国家有战争的时候 我们退伍军人有义务从新拿起枪捍卫国家
不说了，我快到站了
预备役也不是一直能当下去的吧
有没有公务员事业单位什么的
那预备役退伍了怎么办
还不如现在出来学门技术呢
要是打台湾你会去吗
只要发生战争 都会去
你们的任务真的是像外界说的那样向领导汇报表演吗
抱歉 无可奉告
但是我可以告诉你 不是
好吧，蛮神秘的。新闻两边听，我不会只听传言的，希望你也不要
和朝鲜这个国家一样神秘
看上去你社会经验蛮丰富的，怎么就适应不了社会了呢。自己加油吧
要学会控制自己、、生活中不会发生特种兵会遇到的那种事，，还有...以你的身手...很合适当个保镖啊武打教师教练啥的
保镖做过 看不惯有钱人的所作所为我会的 都是近身搏杀 而且部队所学不允许教授
......那你只能把它当作一种技能，在危急时刻用、、平常要记住现实生活中没有大的危险
那是条件反射 没办法刻意克制
那是条件反射 没办法刻意克制
复杂反射是受大脑控制的
我也是一名侦察兵，有机会单挑一下，让你知道什么是真正的特战队员
同志，你可以成为一名合格的保镖
我只想说两个字——呵呵
你不去犯罪可惜了
当保镖或者格斗老师也是不错的啊
我做过保镖 但是看不惯有钱人的所做所为 持强粼弱 格斗老师 我所会的都是近身搏杀出手就是杀招 而且部队规定不允许教授
我做过保镖 但是看不惯有钱人的所做所为 持强粼弱 格斗老师 我所会的都是近身搏杀出手就是杀招 而且部队规定不允许教授
雇佣兵貌似不太好唉。。
晕，兄弟，你要是受不了，可我觉得，你可以去做保镖之类的，或者武术散打之类的，慢慢适应就可以了
去做雇佣兵吧
雇佣兵为了钱做任何事 包括杀人
做其他也行，像高尔夫球场得保安，去游戏厅看场，做工地
说你妈的。老子四一军的。就你那搓样还特种兵。败类。
大哥，当保镖～
既来之则安之，你看懂这句话你就光明了
你摆我们的吧
我们可不是三岁小孩你省省吧啊哥们
我想和你结交！
我杀过人 而且不止一个
杀人谋财过时了！过失杀人说明你业务不精！既然过时杀人事过境迁你还耿耿于怀说明你心里承受能力弱！
我不杀敌人 我就会死
建议你去看看苏联电影列宁在1918
建议你去杀贪官污吏！把某个大贪官的尸体挂在城市的广场高处！你顶多背叛死缓！但是会得到广大人民的敬仰！李即使在监狱里面也会有人民给你送钱！
中国的历史教科书将会有你的英名！人民还会牢记你！你的名字世界会知道！
但是个人没有权利不多哪怕是最坏的人的生命！那是违法的！代价就是受到惩罚！具体惩罚就是死缓！不会死刑！因为你不是谋财害命！为了稳定大局法院也不敢判死刑！
列宁听到小女孩说她妈妈和全家都饿死了后！立刻给捷尔任斯基打电话说…我们要立刻把那些粮食投机家们立刻枪毙！不管是谁！只要坑害人民和苏维挨政权…不管他过去立过什么功劳！不管他年龄 有多大！就像对待最坏的人那样！把他们立刻枪毙掉！列宁在1918
你真是,我以前不也是特种兵吗,你太神经了,
你怎么适应社会的
你是在玩我们吗？很可惜你找错地方了…
好厉害，当位酷酷的保镖吧
快别你妈撇比了，草你码
怎么跟小庄的情景一样一样的！
小庄？？？
典型的 有病
典型的 有病
特种兵不是打仗的？真的像电视演的反恐？
一般都是做特种任务 武警解决不了的 我们就会出动
武警只是用来欺负老百姓的，现在一般都是特警处置突发事件
我们任务不是制服 而是格杀
你对你父母会有这种条件反射么？
没有父母 在孤儿院长大
你应该什么都不做先去学会相信别人，还有你女朋友的事，我觉得你还是不够爱她，爱的够深就不会友那种条件反射。这只是我的个人看法
除了我的小队 我从不把背交给任何人
那你喜欢现在的生活么？
想找个温柔的老婆生个可爱的孩子？
我现在连工作都没有
我说的是你想要的生活么
.你可以自己创业吗，
什么都不懂
你先看看你对什么感兴趣，在做决定啊
特种兵的相关知识
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁Hadoop yarn nodemanager重启之后，就在resourcemanager上多一个重复节点 - 开源中国社区
当前访客身份：游客 [
当前位置：
如题。比方说我目前在hadoop yarn resourcemanager节点上的web界面看到的可用节点是这样的:
一共3个nodemanager。当我把rtdstest2这个节点的nodemanager服务重启之后，刷新一下发现多了一个重复的rtdstest2:
如果MR任务分配到了之前已经停掉的实例上，也会hang住走不下去。想问问看这是怎么回事？应该如何避免？
最后贴出我的几个配置，请帮我看看是不是哪里配置的不对(所有节点配置相同)？
core-site.xml:
&?xml version="1.0"?&
&?xml-stylesheet type="text/xsl" href="configuration.xsl"?&
&configuration&
&property&
&name&fs.defaultFS&/name&
&value&hdfs://rtdstest&/value&
&/property&
&property&
&name&hadoop.proxyuser.mapred.groups&/name&
&value&*&/value&
&/property&
&property&
&name&hadoop.proxyuser.mapred.hosts&/name&
&value&*&/value&
&/property&
&/configuration&
mapred-site.xml:
&?xml version="1.0"?&
&?xml-stylesheet type="text/xsl" href="configuration.xsl"?&
&configuration&
&property&
&name&mapreduce.framework.name&/name&
&value&yarn&/value&
&/property&
&property&
&name&mapreduce.jobhistory.address&/name&
&value&172.16.250.10:10020&/value&
&/property&
&property&
&name&mapreduce.jobhistory.webapp.address&/name&
&value&172.16.250.10:19888&/value&
&/property&
&property&
&name&yarn.app.mapreduce.am.staging-dir&/name&
&value&/user&/value&
&/property&
&/configuration&
yarn-site.xml:
&?xml version="1.0"?&
&?xml-stylesheet type="text/xsl" href="configuration.xsl"?&
&configuration&
&property&
&name&yarn.resourcemanager.hostname&/name&
&value&rtdstest&/value&
&/property&
&property&
&name&yarn.nodemanager.aux-services&/name&
&value&mapreduce_shuffle&/value&
&/property&
&property&
&name&yarn.nodemanager.aux-services.mapreduce_shuffle.class&/name&
&value&org.apache.hadoop.mapred.ShuffleHandler&/value&
&/property&
&property&
&name&yarn.log-aggregation-enable&/name&
&value&true&/value&
&/property&
&property&
&description&List of directories to store localized files in.&/description&
&name&yarn.nodemanager.local-dirs&/name&
&value&file:///var/lib/hadoop-yarn/cache/${user.name}/nm-local-dir&/value&
&/property&
&property&
&description&Where to store container logs.&/description&
&name&yarn.nodemanager.log-dirs&/name&
&value&file:///var/log/hadoop-yarn/containers&/value&
&/property&
&property&
&description&Where to aggregate logs to.&/description&
&name&yarn.nodemanager.remote-app-log-dir&/name&
&value&/var/log/hadoop-yarn/apps&/value&
&/property&
&property&
&description&Classpath for typical applications.&/description&
&name&yarn.application.classpath&/name&
$HADOOP_CONF_DIR,
$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,
$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,
$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,
$HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*
&/property&
&/configuration&
共有2个答案
<span class="a_vote_num" id="a_vote_num_
正常的，过几分钟就会消失了。mr应该不会分配到这个失效节点上，因为拿不到资源。
--- 共有 3 条评论 ---
所以，理论上即便是nodenanager失效了，但是因为resourcenanager无法获取container，稍后会重新请求，所以不会hang住。但有可能其他的nodemanager都满了，无法获取新container，可能会一直重复请求。
(4个月前)&nbsp&
: 我们集群未发现类似情况，但有可能是我们节点较多。但是从yarn的原理上来说不应该发生这种问题，MR任务不是是直接跑在nodemanager上的，而是通过resourcemanager向nodemanager请求一个container ，在container中运行。
(4个月前)&nbsp&
我实测的时候发现好像会分配到这个节点，然后hang住一会报错。因为在resourcemanager看来这个节点状态依旧是active。不过几分钟后消失这个倒是对的。问题就在于这几分钟之内好像MR任务还可能分配到这个本已经停掉的实例上。我的版本是CDH 5.7，hadoop版本2.6.0
(4个月前)&nbsp&
<span class="a_vote_num" id="a_vote_num_
重启的时候你用的什么命令 ？ &如果是kill掉的话 &可能是zookeeper连接的问题 &因为zookeeper在timeout的时间内是感知不到客户端下线的
--- 共有 6 条评论 ---
没有高可用的时候确实不需要zookeeper的
但是一般用的都是要有高可用的
(4个月前)&nbsp&
: 我读了一下CDH高可用的文档确认了一下。无论HDFS还是yarn的HA配置，都是用到了zookeeper。利用zookeeper的服务发现机制实现的HA。所以不用HA的时候是不需要zookeeper的
(4个月前)&nbsp&
那我就不知道了，我就用过原版的那个
(4个月前)&nbsp&
: 我用的是CDH发行版。提供了service脚本，封装了hadoop自己的命令，这样无需SSH各节点无密码登录配置了。而且CDH的yarn配置文档并未提及任何zookeeper的信息。应该只是高可用的时候才需要。三节点集群可能用不到zookeeper
(4个月前)&nbsp&
: hadoop集群怎么会没有zookeeper？ nodemanager会把自己的状态写道zookeeper上面
这样resourceManager才能知道nodemanager的状态
另外重启hadoop节点的时候最好使用hadoop的命令去重启
(4个月前)&nbsp&
更多开发者职位上
有什么技术问题吗？
Feng_Yu...的其它问题
类似的话题