hadoop rebalance

zz/2023/6/4 15:39:50

之前一直没做过rebalance,以为速度很快,结果大意了,等到磁盘达到90%的时候,才开始做rebalance。

默认的从日志中可以看到总共需要迁移1.89T,但是每次只移动40G大小的量。

然后查看40G的数据量从15:45分到15:48分,所以结算结果为每分钟13G,每秒228M左右。(感觉这计算结果有问题)

hadoop有个balancerBandwidth可以通过设置带宽流量来增加数据移动的大小。

所以通过以下设置来增加每秒流量为500M.

hadoop dfsadmin -setBalancerBandwidth 524288000 

start-balancer.sh -threshold 5


hadoop3.1.3版本执行rabalance异常:because threads quota is exceeded., block move is failed

这是因为在rebalanecing server启动的线程数有限,hdfs-site.xml配置中(dfs.datanode.balance.max.concurrent.moves)默认配置是5,可以适当将该值调大

注意:修改的是hdfs-site.xml文件

<property><name>dfs.datanode.balance.max.concurrent.moves</name><value>1024</value>
</property>

动态刷新hdfs配置:

hdfs dfsadmin -fs hdfs://ns1 -refreshSuperUserGroupsConfiguration

http://www.ngui.cc/zz/2389884.html

相关文章

【Kafka】Kafka的Rebalance机制可能造成的影响及解决方案

一、kafka的rebalance机制在Kafka中&#xff0c;当有新消费者加入或者订阅的Topic数发生变化时&#xff0c;会触发Rebalance(再均衡&#xff1a;在同一个消费者组当中&#xff0c;分区的所有权从一个消费者转移到另外一个消费者)机制&#xff0c;Rebalance顾名思义就是重新均衡…

第6章 Rebalance详解

rebalance本质是一种协议&#xff0c;规定了一个consumer group下的所有consumer如何达成一致来分配订阅的topic的每个分区。比如某个group下有20个consumer&#xff0c;它订阅了一个具有100个分区的topic。正常情况下&#xff0c;Kafka平均会为每个consumer分配5个分区。这个分…

电话机器人核心技术之NLP

什么是NLPNLP是神经语言程序学 (Neuro-Linguistic Programming) 的英文缩写; NLP译为“身心语法程式学”或“神经语言程序学”。N&#xff08;Neuro&#xff09;指神经系统&#xff0c;意译为身心。指我们比较稳定的身心素质&#xff0c;结构及比较逸动的身心状态。L&#xff0…

产品用户-缩写

tts : text to speech 语音合成 IVR&#xff1a;(Interactive Voice Response)即互动式语音应答&#xff0c;您只须用电话即可进入服务中心&#xff0c;可以根据操作提示收听手机娱乐产品&#xff0c;也可以根据用户输入的内容播放有关的信息。 CTI&#xff1a;一般指计算机电…

java 常用缩写简表_java 常用缩写

java EE -->Java Platform Enterprise Edition //平台企业版此版本中主要包括如下技术&#xff1a;EJB 3.0、Java Persistance Architecture (JPA)、Web 服务、JAX-WS。.包含J2SE 中的类&#xff0c;并且还包含用于开发企业级应用的类。比如&#xff1a;EJB、servlet、JS…

Android--控件的单位(px,pt,dp,sp)

px&#xff1a;代表像素&#xff0c;即在屏幕中可显示的最小单位元素&#xff0c;应用程序中任何控件都是由一个像素点组成的&#xff0c;分辨率越高的手机&#xff0c;屏幕的像素点就越多。因此&#xff0c;如果使用px控制控件的大小&#xff0c;在分辨率不同的手机控件显示的…

web前端常用长度单位(px,em,rem,pt)

px像素&#xff08;Pixel&#xff09;。相对长度单位。像素px是相对于显示器屏幕分辨率而言的。 em是相对长度单位。相对于当前对象内文本的字体尺寸。如当前对行内文本的字体尺寸未被人为设置&#xff0c;则相对于浏览器的默认字体尺寸&#xff0c;最初是指字母M的宽度&…

css font size 单位,css中font-size的单位总结:px、em、pt

px:基于像素的单位.像素是一种有用的单位,因为在任何媒体上都可以保证一个像素的差别确实是可见的.em :一般用来测量长度的通用单位(例如元素周转的页边空白和填充),当用于指定字体大小时,em单位是指父元素的字体大小.比如这里的字是24px如果使用em来指定填充,填充的宽度是相对…

探究px像素与pt磅,mm毫米之间的换算

文章目录DPI(dots per inch)dpcm&#xff08;dots per centimeter&#xff09;dppx&#xff08;dots per px 别名为&#xff1a;x&#xff09;px像素(Pixel)emrem (font size of the root element)in英寸(Inch)pt磅(Point)mm毫米(Millimeter)cm厘米(Centimeter)pt与px换算公式m…

C语言数组元素的左移、右移

想到数组元素的移动&#xff0c;我最初的想法是这样的。 贴代码&#xff1a; for(i 0; i < it_Length - it_Steps; i){if(it_Direction -1){Array[i] pt_Array[i it_Steps];}else{Array[i it_Steps] pt_Array[i];}}for(i 0; i < it_Steps; i){if(it_Direction -…