HadoopYarn问题记录

1

如果capacity配置的容量远超队列配额会引起某些bug&＃xff0c;这里能先优化下maxcapacity这个值嘛&＃xff0c;尽量不要超过太多capacity值

CapacityScheduler: applications could get starved because computation of #activeUsers considers pending apps
已有issue上说的&＃xff0c;如果集群其他队列有其他队列超过设置限额(Max apps)了&＃xff0c;这个num schedulable applications在其他队列就会有异常&＃xff0c;会把其他队列的也算进去&＃xff0c;造成显示错误。

Hadoop 2.7.1, 2.8.0版本中&＃xff0c;如果归属于同一个user的叶子Queue中的所有app处于pending状态&＃xff08;比如由maximum-am-resource-percent限制等原因&＃xff09;。此时ActiveUsersManager仍然会将该user认为是活跃用户虽没有running的app&＃xff0c;可能导致app饥饿&＃xff0c;比如&＃xff1a;

• App1(user1)/app2(user2) 活跃状态, app3(user3)/app4(user4) 处于pending状态
• ActiveUsersManager返回activeUsers&＃61;4
• 然而&＃xff0c;其实该例中只有两个用户&＃xff08;user1/user2&＃xff09;被允许申请新资源&＃xff0c;所以此时计算user-limit-resource即用户可用资源时可能比预期更低