OpenStack云数据的护花使者Smaug

el/2024/7/13 12:44:03


ICT架构师技术交流(微信号ICT_Architect)

分析和交流ICT行业最前沿技术,分享云计算、存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识,旨在知识交流、开放共享和共同进步。

Smaug是一个OpenStack中提供应用数据保护服务的项目,让各个厂商的数据保护软件通过标准接口接入OpenStack,为OpenStack提供增强的备份、复制、迁移等数据保护服务(Data Protection as a Service)能力,Smaug致力于解决虚拟机备份难、无标准备份的接口的现状。云平台的数据保护对客户而言至关重要,所以该项目从一开始就受到OpenStack生态的关注。

Smaug只是该项目研发阶段的名字,以后将会改名为Karbor,该项目由华为和几家数据保护公司主导,目前并已经成为OpenStack正式项目。OpenStack的开放性允许不同厂商的虚拟化平台软件可以直接接入,但这种开放性也导致了异构平台很难统一进行数据保护,现有的数据保护方式都是以各个厂商的虚拟化平台为核心,很难通用。

Smaug的出现将会通过标准接口、服务编排框架和规范工作流,让不同厂商通过统一接口和工作流保护OpenStack中的任何资源以及资源的依赖项,包含虚拟机、卷和网络拓扑等。下面我们从保护资源、APIs、Services、Plugins等方面进行详细介绍。

Smaug可保护的资源

在Smaug保护架构中,把云应用分了Web、基础应用和数据库3个层级,但是在OpenStack中需要保护的资源还包括VMs、网络、卷、项目、服务和依赖等等安装在OpenStack中的组件和服务。为了保护好这3层应用,Smaug必须保护好上诉所有资源才行。

Smaug所保护的对象(Protectable)就是一个个关联的资源,对每种资源的保护是由定义在Smaug中的Plugin引擎执行完成的,Plugin引擎会加载各种资源保护时所需的Plugin,通过保护计划来保护相关资源。这些资源可以分配到不同组(工程),每组包含不同资源,各个资源可通过不同厂商的Plugin来保护。下面对每种资源进行简单描述。

  • 卷:一般就是映射到VMs上的可进行读写的数据存储载体或设备。

  • 虚拟机:是由元数据、配置、描述和相关依赖组成的业务部署单元。

  • 虚拟网络:虚拟机运行通信网络。

  • 工程:一组虚拟机和相关卷、镜像、网络等资源。

  • 镜像:虚拟启动镜像或软件包。

上图是一个工程实例,一个工程保护多个应用VMs(Web应用和DB应用),每个VMs都有对应镜像、网络(包含路由器)、数据卷等。

Smaug涉及的Plugin

由于Smaug主要是针对不同厂商的虚拟化平台、数据保护软件等定义一套标准接口和工作流程,为了实现标准流程化、开放化和异构兼容,还需要不同厂商根据标准定义实现Plugin和Provider屏蔽厂商差异和细节。

对用户或租户来说,用户可以选择管理员授权的Provider类型配置和管理保护计划,这些Provider有系统管理维护。

系统管理员需要定义那些Provider是对具体用户可见,一个Provider通常是由一组资源保护插件Plugin和一个Bank组成,管理员还要负责为每个用户或租户配置一个Bank帐号。

对不同的第三方厂商来说,需要按照标准APIs规范提供不同资源保护Plugin和Provider供通用架构调用。

Smaug标准APIs介绍

前面谈到Smaug提供了一套数据保护框架和APIs,为了完成数据保护任务创建、任务触发、保护、数据一致性、数据恢复等整个流程,Smaug为每个任务阶段都提供了标准APIs,这些接口都可以暴露给用户,以便提高保护灵活性和增加资源保护范围,下面我们逐一简单介绍下。

资源(保护对象) API,用来给用户提供有关保护资源的信息、以及实际的可保护资源实例清单,如资源类型,那些资源可以被Smaug保护等。

保护计划API,让用户使用可选的Provider创建保护计划或编辑相关计划参数。

Provider API让用户列出所有可用的Provider和参数,甚至得到每个具体Provider中所包含的Plugin视图。

Checkpoints API让用户访问和管理保护资源的Checkpoints(类似快照),并且支持查询和列出某个Provider现有的Checkpoints,另外当恢复保护数据时,Checkpoints API可以给Restore API提供Checkpoint读访问能力。调用Checkpoint创建API将会在用户的Bank帐号创建一个Vault,这个Vault会对应具体Provider中定义的Plugins数据保护动作,Vault定义了数据如何保存、存放在哪。

Schedule Operation API用来完成关联保护任务和触发条件,Restore API完成保护数据跟踪和恢复,恢复数据可根据Checkpoints选择需要恢复的不同时间点数据。

Smaug架构介绍

Smaug系统基于模块化模式设计,这样不但有助于系统的扩展,而且可以确保每个子模块可以作为一个独立的服务运行。例如保护计划工作流引擎就使用一个单独的服务。

Smaug API Service是由几个API服务模块组成(上面已经介绍),这些API服务最大限度地提高灵活性,并容可以纳任何类型的保护资源,无论是基本的OpenStack资源(例如虚拟机,卷,镜像)或一些不在OpenStack管理范围内的辅助资源(例如硬件设备,数据库)。

Smaug Operation Schedule Service负责安排和协调保护计划的执行,所有实际的保护有关的活动都是通过操作Smaug API Service提供的北向API实现的。Smaug Operation Schedule Service维护Smaug数据库的所有操作记录,并从Smaug Protection Service分离出计划调度的实现。

Trigger Engine基于一个计时器或一个事件收集器实现,是在调度服务中负责生成触发器,并执行的计划业务流程。Scheduled Operation负责触发器和操作之间的关系映射。

Smaug Protection Service负责操作执行(保护、恢复、验证、删除)、保护插件管理、银行插件管理和银行事务服务管理。

WorkFlow Engine运行注册有具体保护定义的保护计划,将所有的元数据和事务信息写入到银行帐户中。

Protection Plugin保护一个或多个资源,负责保护、验证和恢复工作流程,提供保护参数选项,元数据和事务信息被写入银行,保护插件决定使用哪个数据存储来存储实际数据。

Banks建立了银行模型,实现数据保护和恢复。Banks Plugin存储每一个保护计划的全局元数据和事务历史。银行是一个全局性的实体,是可以跨云访问的。保护插件把所有事务元数据存入银行。


文章已经同步至微信“ICT架构师技术交流”公众号,关注公众号获取更多精彩技术内容。


http://www.ngui.cc/el/4994568.html

相关文章

【Ceph专题】 Ceph架构详细分析

 Ceph专题一 Ceph架构详细分析 支持原创,支持ICT架构师技术交流(微信号ICT_Architect) 分析和交流ICT行业最前沿技术,分享云计算、存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识,旨在知识交流、开放共享和共同进步。 Ceph是呼声很高的开源分布式的SDS产品…

云时代下,传统和新型存储的博弈已经开始

 云时代下,传统和新型存储的博弈已经开始 ICT架构师技术交流 (微信号ICT_Architect) 分析和交流ICT行业最前沿技术,分享更多存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识,旨在知识交流、开放共享和共同…

有哪些IT巨头,在打造Ceph这朵开源存储金花?

 ICT架构师技术交流(微信号ICT_Architect) 分析和交流ICT行业最前沿技术,分享更多存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识,旨在知识交流、开放共享和共同进步。 关于Ceph架构和RedHat企业版Ceph Storage 2特…

Docker网络优化方案,你认为哪种将引爆未来?

 ICT架构师技术交流 分析和交流ICT行业最前沿技术,分享更多云计算、存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识,旨在知识交流、开放共享和共同进步。 上一篇文章Docker原生网络和实现原理中,我们讨…

企业数据备份,需要多少容量和性能满足?

 ICT架构师技术交流(微信号ICT_Architect) 分析和交流ICT行业最前沿技术,分享云计算、存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识,旨在知识交流、开放共享和共同进步。 在备份项目中,除了选择合适的备份软件,还要考虑存储、备份服务器、存储策略和配…

【精华】 数据中心双活该如何构建

ICT架构师技术交流(微信号ICT_Architect) 介绍分析和交流ICT行业最前沿技术,分享云计算、存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识,旨在知识交流、开放共享和共同进步。 因为最近经常看到大家在讨论数据中心双活解决方案,…

穿越解密: Intel X86迎来小型机的春天

 ICT架构师技术交流 (微信号ICT_Architect) 分析和交流ICT行业最前沿技术,分享云计算、存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识,旨在知识交流、开放共享和共同进步。 先从小型机的发展史说起,在上…

容器定义存储(CDS)—春江水暖Portworx先知

 容器定义存储(CDS)—春江水暖"Portworx"先知 ICT架构师技术交流 2016-09-09 20:08 在上篇中,我们已经介绍了容器如何改变应用部署方式、为什么要通过CDS实现数据中心"轻量化"。那今天我们就来分析一下基于容器的Port…

容器定义存储(CDS)—存储技术的瘦身革命

 容器定义存储(CDS)—存储技术的"瘦身"革命 ICT架构师技术交流 2016-09-09 19:42 容器技术是最快被数据中心所广泛接受和采用的技术之一,从2013年起,据统计Docker的下载量已经快达到30亿次,容器已经彻底改…

架构师技术联盟有哪些成员?

作者笔名Hardy(晗狄),籍贯甘肃省. 陇南市,目前是解决方案架构师。工作领域涉及存储、云计算、数据灾备、网络和数据中心产品及解决方案。 2011年毕业于电子科技大学(研究方向计算机),通过七年的研发工程师经历实现了技术蜕变。多年工作经验和技术积累促使我决定转型为解决方…