hadoop之yarn调度

el/2024/7/13 11:53:28

序言

     在大数据的生态中,hdfs解决了海量数据的存储问题,mapreduce解决了海量数据的计算问题,而在任务的执行和资源统一管理层面,则是使用yarn进行统一调度。

    yarn:yet another resouce negotiator,另外一种资源调度器。

yarn

    1 为什么会有yarn

    hadoop经历了两个大的架构,在1.X版本中,核心只有hdfs和MapReduce,这个里面MapReduce既承担了海量数据的计算问题,而且需要负责相关的任务调度,资源分配,监控恢复任务,成为一个性能瓶颈,在2.X架构中,将MapReduce进行了一个分拆,MapReduce仅仅负责计算问题,而抽取出来的yarn,则作为资源的分配,调度,任务的生命周期管理。

    2 yarn架构图(官方文档截取)

    Resource Manager:简称RM,资源管理器,负责管理应用程序application的全局计算资源的分配,接收来自客户端的请求,和Node Manager进行通信,检查节点的健康状态,启动调度Application Master。

    Application Master:简称AM,管理应用程序的调度和协调,每个应用程序一个,也可以叫做MRAppMaster。

    Application:一个MapReduce作业或者是DAG的多个jobs。

    NodeManager:运行在每个节点中,简称为NM,节点管理器,主要和RM进行通信,并和ApplicationMaster一起执行和监控任务,监控container容器的资源使用情况。

    Container:表示分配的一组包括CPU,内存,网络,磁盘资源的容器。

    在RM中,包含两个主要的组件,一个是schedule调度组件,一个是applicationsmanager应用程序管理组件。

    3 高可用架构

    搭建集群的时候,总是需要高可用架构的,对于RM来说,主要是HA的形式,一个状态是Active,一个状态是Standby,对于NM来说,主要分布式节点,一般的部署方式是对于HDFS的数据节点DataNode,那么就可以部署为Node Manager节点。

    在查看RM状态的时候,可以使用如下的命令:

//查看RM的状态,是主还是备
[root@KEL2 logs]# yarn rmadmin -getServiceState rm1
active
[root@KEL2 logs]# yarn rmadmin -getServiceState rm2
standby
//查看Node Manag

http://www.ngui.cc/el/5239890.html

相关文章

hive初始化元数据库乱码

序言 无论是使用何种语言进行编程,碰到的第一个问题莫过于乱码的问题,而使用数据库的时候,也大致差不多。 hive使用元数据库来记录相关hdfs数据文件和数据库表之间的映射关系,当创建的数据库是使用中文注释的时候,那么就会碰到乱码问题。 HIVE元数据库乱码 1 …

hive之编译源码

序言 使用maven来进行源码,真的是靠运气,特别是你网络很差的情况下,再特别是你没有本地库的时候,靠运气吃饭。。。 本来不想编译的,奈何在hive中执行show create table table_name的时候显示为乱码。。。当一切都很顺利…

hadoop生态之sqoop

序言 在使用大数据的时候,各种不同的数据都要将数据采集同步到数据仓库中,一个是属于业务系统的RDBMS系统,也就是各种关系型数据库,一个是hadoop生态的存储,中间用于传输的数据的工具可以使用sqoop,也就是sql to hadoop。 在数据进入数仓的ODS层的时候,使用sqoo…

hdfs和yarn高可用对比

序言 总有一天你会笑着说出曾经令你痛苦的事情,毕竟有些东西虽然不是你想要的,但是却是你自找的,表面上是无奈,实际上是懒得去做选择,成功的路只有一条,而失败的路则是各种各样的原因。 得不到的时候念念不忘,得到的时候,却不珍惜,这到底是为什么呢?是忘记了…

三月闲聊

序言 生活原本很沉闷,但跑起来有风。 工欲善其事必先利其器,当你有一些想法的时候,如果没有合适的工具,那将是一个很痛苦的过程。。。至于有多痛苦呢,越追求细节的越enjoy。。。 风言风语 1 在理论的指导下实践 无论是…

七月闲聊

序言 风都停了,所以闲下来瞎聊聊。。。 最近头有点痒,可能是要长脑子了。。。 风言风语 1 开源与商业 看最近的天气,总是不太安稳,一会儿暴风雨,一会儿插喉咙,多事之秋。 谈到商业产品的时候,总…

八月闲聊

序言 远方就是窗外的风景,可望而不可及,在家呆的太久,都忘记了今夕是何年。 如果你来南京玩,记得带好你的绿码。。。 风言风语 1 尊重你的用户,也尊重你自己 可以吵架,但是吵架是为了更好的去了解对方&…

平淡让你无脑?

序言 我的意中人,一定会驾着五彩祥云来打死我。。。平凡之间的平淡。 空花幻月,都是用来迷惑众生的。。。听我讲道理,比死还难受。 风言风语 最近都在升级,产品种类繁多,但是从整体的角度来说,都是点点几个…

从一个小问题探讨解题思路

序言 前奏一响,心一动,就是跑路的信号,从入门到删库。。。你看这篇文章,她像不像一封辞职信。 运维的终点在哪儿?如果运维的终点是没有运维,那么这一切又将有什么存在的含义? 风言风语 问题背景…

敏捷运维

序言 表面上都是自由的,实际上四周围墙,无法跨越;表面上都有很多选择,实际上没得选。 成功是一种考验,失败也是,原因能想出来吗? 敏捷运维,敏捷开发,在各种压力进行运维&…