【Ambari】ambari中添加新服务

article/2024/7/13 8:10:33

背景

栈的定义可以在源代码树中找到/ambari-server/src/main/resources/stacks。当你安装Ambari Server服务之后,栈的定义可以被发现/var/lib/ambari-server/resources/stacks。

结构

一个栈的结构定义如下

|_ stacks|_ <stack_name>|_ <stack_version>metainfo.xml|_ hooks|_ reposrepoinfo.xml|_ services|_ <service_name>metainfo.xmlmetrics.json|_ configuration{configuration files}|_ package{files, scripts, templates}

定义一个服务和组件

在service里的metainfo.xml文件描述这个服务,服务的组件和管理脚本用于执行命令。一个组件的服务可以是MASTER,SLAVE或CLIENT类别。这个告诉Ambari默认命令应该用于管理和监控组件。为每个组件指定< commandScript >执行命令时使用。有一个默认命令定义组件必须支持。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bJHbYUyk-1674872793575)(https://cdn.nlark.com/yuque/0/2022/png/28597619/1660809692191-d80c482d-ab80-465e-971c-99d1a4aecfad.png#clientId=uca0ee1bb-0a15-4&crop=0&crop=0&crop=1&crop=1&from=paste&height=180&id=u7e67c19c&margin=%5Bobject%20Object%5D&name=image.png&originHeight=360&originWidth=1010&originalType=binary&ratio=1&rotation=0&showTitle=false&size=360985&status=done&style=none&taskId=u0f121fa9-4fd6-4306-9fa4-3a657316655&title=&width=505)]

Ambari支持不同的命令脚本用PYTHON编写的。类型是用来知道如何执行命令脚本。你也可以创建自定义命令除了default lifecycle commands之外你的组件需要去支持。

例如,YARN Service描述ResourceManager组件配置metainfo.xml如下:

<component><name>RESOURCEMANAGER</name><category>MASTER</category><commandScript><script>scripts/resourcemanager.py</script><scriptType>PYTHON</scriptType><timeout>600</timeout></commandScript><customCommands><customCommand><name>DECOMMISSION</name><commandScript><script>scripts/resourcemanager.py</script><scriptType>PYTHON</scriptType><timeout>600</timeout></commandScript></customCommand></customCommands>
</component>

ResourceManager是一个MASTER组件,并且命令脚本是scripts/resourcemanager.py,可以被找到services/YARN/package目录,PYTHON命令脚本,脚本作为PYTHON方法实现default lifecycle commands。这是默认的安装方法安装命令:

class Resourcemanager(Script):def install(self, env):self.install_packages(env)self.configure(env)

你也可以看到一个自定义的命令定义DECOMMISSION,这意味着还有一个DECOMMISSION方法在python命令脚本:

def decommission(self, env):import params...Execute(yarn_refresh_cmd,user=yarn_user)pass

使用堆栈继承

栈可以扩展其他堆栈为了分享命令脚本和配置。这样可以减少重复的代码在栈使用以下:

  • 为子栈定义存储库
  • 在子栈添加新的服务(不是在父栈)
  • 覆盖父服务命令脚本
  • 覆盖父服务的配置

实现一个自定义服务

在本例中,我们将创建一个名为“SAMPLESRV”的定制服务,将其添加到现有的栈的定义。

此服务包括MASTER,SLAVE,CLIENT组件。

创建并且添加服务

  1. Ambari Server上,浏览到/var/lib/ambari-server/resources/stacks/HDP/2.0.6/services这个目录。在这种情况下,我们将浏览到HDP 2.0的定义。
cd /var/lib/ambari-server/resources/stacks/HDP/2.0.6/services
  1. 创建一个目录/var/lib/ambari-server/resources/stacks/HDP/2.0.6/services/SAMPLESRV将包含SAMPLESRV的服务定义。
mkdir /var/lib/ambari-server/resources/stacks/HDP/2.0.6/services/SAMPLESRVcd /var/lib/ambari-server/resources/stacks/HDP/2.0.6/services/SAMPLESRV
  1. 浏览到新创建的SAMPLESRV目录,创建一个metainfo.xml文件去描述一个新的服务。例如:
<?xml version="1.0"?>
<metainfo><schemaVersion>2.0</schemaVersion><services><service><name>SAMPLESRV</name><displayName>New Sample Service</displayName><comment>A New Sample Service</comment><version>1.0.0</version><components><component><name>SAMPLESRV_MASTER</name><displayName>Sample Srv Master</displayName><category>MASTER</category><cardinality>1</cardinality><commandScript><script>scripts/master.py</script><scriptType>PYTHON</scriptType><timeout>600</timeout></commandScript></component><component><name>SAMPLESRV_SLAVE</name><displayName>Sample Srv Slave</displayName><category>SLAVE</category><cardinality>1+</cardinality><commandScript><script>scripts/slave.py</script><scriptType>PYTHON</scriptType><timeout>600</timeout></commandScript></component><component><name>SAMPLESRV_CLIENT</name><displayName>Sample Srv Client</displayName><category>CLIENT</category><cardinality>1+</cardinality><commandScript><script>scripts/sample_client.py</script><scriptType>PYTHON</scriptType><timeout>600</timeout></commandScript></component></components><osSpecifics><osSpecific><osFamily>any</osFamily>  <!-- note: use osType rather than osFamily for Ambari 1.5.0 and 1.5.1 --></osSpecific></osSpecifics></service></services>
</metainfo>
  1. 在上面,我的服务名是"SAMPLESRV"它包含:
  • 一个MASTER组件“SAMPLESRV_MASTER”
  • 一个SLAVE组件“SAMPLESRV_SLAVE”
  • 一个CLIENT组件“SAMPLESRV_CLIENT”
  1. 接下来,我们创建命令脚本。为命令脚本创建一个目录/var/lib/ambari-server/resources/stacks/HDP/2.0.6/services/SAMPLESRV/package/scripts我们制定的服务metainfo
mkdir -p /var/lib/ambari-server/resources/stacks/HDP/2.0.6/services/SAMPLESRV/package/scriptscd /var/lib/ambari-server/resources/stacks/HDP/2.0.6/services/SAMPLESRV/package/scripts
  1. 进入目录并创建.py的命令脚本文件。

例如master.py文件:

import sys
from resource_management import *
class Master(Script):def install(self, env):print 'Install the Sample Srv Master';def stop(self, env):print 'Stop the Sample Srv Master';def start(self, env):print 'Start the Sample Srv Master';def status(self, env):print 'Status of the Sample Srv Master';def configure(self, env):print 'Configure the Sample Srv Master';
if __name__ == "__main__":Master().execute()

例如slave.py文件:

import sys
from resource_management import *
class Slave(Script):def install(self, env):print 'Install the Sample Srv Slave';def stop(self, env):print 'Stop the Sample Srv Slave';def start(self, env):print 'Start the Sample Srv Slave';def status(self, env):print 'Status of the Sample Srv Slave';def configure(self, env):print 'Configure the Sample Srv Slave';
if __name__ == "__main__":Slave().execute()

例如sample_client.py文件:

import sys
from resource_management import *
class SampleClient(Script):def install(self, env):print 'Install the Sample Srv Client';def configure(self, env):print 'Configure the Sample Srv Client';
if __name__ == "__main__":SampleClient().execute()
  1. 重启Ambari Server
ambari-server restart

参考

https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=38571133

https://github.com/hortonworks-gallery/ambari-zeppelin-service#option-2-automated-deployment-of-a-fresh-hdp-cluster-that-includes-zeppelin-via-blueprints

https://github.com/Symantec/ambari-cassandra-service


http://www.ngui.cc/article/show-845524.html

相关文章

云原生 | Kubernetes - kubectl 备忘单

目录 Kubectl 自动补全 BASH ZSH 关于 --all-namespaces 的一点说明 Kubectl 上下文和配置 Kubectl apply 创建对象 查看和查找资源 更新资源 部分更新资源 编辑资源 对资源进行伸缩 删除资源 与运行中的 Pod 进行交互 从容器中复制文件和目录 与 Deployments …

学习记录675@项目管理之风险管理案例

之前觉得风险管理章节废话太多就没有单独一篇文章记录&#xff0c;但是这个案例还是考到了风险管理的知识&#xff0c;所以借着这个案例梳理下一些重要的知识。 案例 某市石油销售公司计划实施全市的加油卡联网收费系统项目。该石油销售公司选择了系统集成商Simple 公司作为项…

实现文件拷贝,例如将1.c中的内容拷贝到2.c中;

实现文件拷贝&#xff0c;例如将1.c中的内容拷贝到2.c中&#xff1b;通过命令行传参的方式&#xff0c;传入文件名;计算一个文件的大小. 封装成函数通过命令行传参的方式&#xff0c;传入文件名; 统计一个文件有几行。封装成函数代码&#xff1a;#include <stdio.h> //封…

齐晖医药冲刺上市:毛利率持续下滑,刘祥宜和朱建民夫妇为实控人

近日&#xff0c;江苏齐晖医药科技股份有限公司&#xff08;下称“齐晖医药”&#xff09;递交预披露招股书&#xff0c;准备在上海证券交易所主板上市。本次冲刺上市&#xff0c;齐晖医药计划募资6.97亿元&#xff0c;将用于动保原料药生产基地项目、研发中心建设项目&#xf…

星环科技数据治理与数据价值评估实践分享

数据价值评估背景 自2015年8月国务院《促进大数据发展行动纲要》提出“数据已成为国家基础性战略资源”以来&#xff0c;我国出台了诸多政策和法案&#xff0c;推进数据的发展和数据要素的资产化。 2019年10月&#xff0c;第十九届四中全会关于《推进国家治理体系和治理能力现…

解决OpenEuler系统 Minimal BASH-like line editing is supported

2023年开工解决的第一个问题~呃&#xff0c;起因是这样的&#xff0c;由于业务需要&#xff0c;修改内核参数后重新打包内核&#xff0c;然后安装内核rpm包后&#xff0c;强制关机&#xff0c;结果就出现如上界面。网上搜索后绝大部分是因为安装了双系统后找不到grub系统引导文…

【数据结构】8.2 插入排序

文章目录前言1. 直接插入排序直接插入排序算法直接插入排序性能分析2. 折半插入排序3. 希尔排序希尔排序算法希尔排序算法分析排序方法比较前言 类似于俺们打牌时的插入&#xff0c;每抓来一张牌的时候&#xff0c;就将它放在合适的位置上&#xff0c;插入一张牌之后手里的牌仍…

JavaScript基础(18)_Date对象、Math对象

Date对象 Date(日期对象)是一个构造函数,必须使用new来调用创建日期对象 1、创建一个Date对象&#xff0c;如果直接使用构造函数创建一个Date对象&#xff0c;则会封装为当前代码"执行的时间"。 var d new Date(); console.log(d); 2、创建一个指定的时间对象&am…

【中级】用nn.Module,nn.Sequential,nn.Functional 构建网络

之前写了一遍文章 上文链接简单介绍用nn.Sequential来构造神经网络的方法&#xff0c;本文进一步介绍更灵活的方法来构造神经网络。 Pytorch中&#xff0c;模型的参数用nn.Parameter来表达&#xff0c;但是要手动去管理这些参数不容易&#xff0c;所以我们构建模型一般使用nn.…

Python学习笔记十二之十大经典排序算法

Python学习笔记十二之十大经典排序算法 排序算法是《数据结构与算法》中最基本的算法之一。排序算法可以分为内部排序和外部排序&#xff0c;内部排序是数据记录在内存中进行排序&#xff0c;而外部排序是因排序的数据很大&#xff0c;一次不能容纳全部的排序记录&#xff0c;…