大数据运维-监控可视化需求构建总结

1 数据源需求

1.1 主动接入

  需求来源:某些市场银行

1.1.1 API 接入

  • 能力要求
  1. 支持请求授权接入。(auth 认证)
  2. 支持数据快速获取测试验证。
  3. 支持数据依赖的参数引用。
  4. 支持全量、增量同步(日、时、分、秒)
  5. 支持多层级解析 (目前按JSON格式处理)

1.1.2 SDK接入

  • 能力要求
  1. 支持快速集成SDK 。
  2. 支持数据依赖之间的参数引用。
  3. 支持数据快速获取测试验证。
  4. 支持格式化解析。
  5. 支持全量、增量同步(日、时、分、秒)

1.1.3 WebService接入

  • 能力要求
  1. 支持多种webservice 接入方式。(cxf、axis、http)
  2. 支持授权认证。
  3. 支持快速接入测试验证。
  4. 支持格式化解析。
  5. 支持全量、增量同步(日、时、分、秒)

​​​​​​​1.1.4 数据库接入

(db2、oracle、mysql、sqlserver、treadata、postgresql)

  • 能力要求
  1. 支持数据源池配置。
  2. 支持版本驱动。
  3. 支持快速接入测试验证。
  4. 支持全量、增量同步(日、时、分、秒)

​​​​​​1.1.5 流数据接入

(kafka、hive)

  • 能力要求
  1. 支持kerbores 认证。
  2. 支持数据消费能力。
  3. 支持全量、增量同步(日、时、分、秒)
  4. 支持不同版本扩展。
  5. 支持按生命周期存储。
  6. 支持快速接入测试验证。

1.1.6 文件接入

(csv、excel)

  • 能力要求
  1. 支持快速接入测试验证。
  2. 支持按生命周期存储。
  3. 支持多sheet 数据处理。
  4. 支持本地、远程文件处理。

1.2 被动接入

1.2.1 Udp 接入

  • 能力要求

(1)支持数据接入。

(2)支持数据格式化存储。

(3)支持标准规则解析。

(4)支持接入源校验。

1.2.2 SysLog 接入

  • 能力要求

(1)支持数据接入。

(2)支持数据格式化存储。

(3)支持标准规则解析。

(4)支持接入源校验。

​​​​​​​1.2.3 Trap 接入

  • 能力要求

(1)支持数据接入。

(2)支持数据格式化存储

(3)支持标准规则解析。

(4)支持接入源校验。

​​​​​​​​​​​​​​1.2.4 Socket接入

  • 能力要求

(1)支持数据接入。

(2)支持数据格式化存储

(3)支持标准规则解析。

(4)支持接入源校验。

​​​​​​​1.2.5 交易接入

  • 能力要求

(1)支持监控数据的存储能力

(2)支持监控数据的预警能力

(3)支持监控数据的消费能力。

2配置管理需求

2.1指标管理

(1)支持指标自定义。

(2)支持指标导入导出。

(3)支持指标数据同步。

2.2 CI管理

(1)支持CI分类管理。

(2)支持CI实例管理

(3)支持CI属性管理。

(4)支持CI与集成数据关联。

2.3告警管理

(1)支持多指标预警配置。

(2)支持多样化通知。

(3)支持事件收敛、压缩、自愈、恢复等。

(4)支持事件统一展示。

(5)支持告警维护期配置

2.4权限管理

(1)支持多角色多视图模式。

(2)支持不同用户,不同数据展示模式。

2.5系统配置管理

(1)支持系统参数配置。

(2)支持系统字典管理。

(3)支持系统用户管理。

2.6门户集成

(1)支持系统集成到其他门户。

(2)支持系统门户集成授权。

3可视化展示需求

3.1 模型需求

(1)支持构建指标数据模型

(2)支持构建自定义视图。

(3)支持对数据快速加工。

(4)支持跨数据源模型处理。

3.2 组件需求

(1)支持快速完成图表拖拽。

(2)支持拓扑图构建。

(3)支持多样化组件(内置一些大屏组件、标签、文本、参考图例)

(4)支持图片资源管理。

(5)支持字段重命名。

(6)支持简单的数据运算。

(7)支持组件资源分类。

(8)支持拖拽快速引导。

(9)支持链接嵌入。

3.3 看板需求

(1)支持看板、报告自定义及发布管理。

(2)支持看板的分享、订阅管理。

(3)支持版本管理。

3.4 模板需求

(1)支持内置视图模板。

(2)支持自定义视图为模板。

4 存储需求

4.1 数据归档需求

(1)归档策略

(2)归档日志

(3)数据恢复。

(4)支持按生命周期存储。

4.2 数据缓存需求

(1)缓存策略

(2)缓存规则

(3)缓存一致性

(4)缓存周期

4.3 数据统计需求

(1)支持数据不同维度统计

(2)支持实时和非实时统计。

(3)支持统计快速扩展。

4.4 数据消费需求

(1)支持历史数据消费接口。

(2)支持历史数据查询。

(3)支持历史数据导出。

5 性能需求

5.1 系统健壮性需求

(1)支持系统高可用。

(2)支持系统自身监控。

(3)支持系统监控输出。

5.2 响应需求

(1)页面响应速度要求。

(2)页面操作性要求。

5.3 并发需求

(1)300并发,响应时间<300 ms  TPS

(2)500并发,,响应时间<300 ms  TPS

6 场景需求

6.1 运维视图场景

(1)领导视图看板。

(2)管理员视图看板。

(3)运维人员视图看板。

6.2 运维监控场景

(1)操作系统监控视图。

(2)中间件监控视图。

(3)数据库监控视图。

(4)虚拟化监控视图。

(5)硬件监控视图。

(6)存储监控视图。

(7)网络监控视图。

(8)安全设备监控视图。

 

热门文章

暂无图片
编程学习 ·

2.7 网络抓包

1.简介 抓包是指对网络传输中发送与接收的数据包进行拦截、重发、编辑和转存的操作。 在开发网络爬虫时,给定URL,开发者必须清楚客户端是如何向服务器发送请求的,以及客户端发出请求后服务器返回的数据是什么。只有了解这些内容,开发者才能在程序中拼接URL,针对服务返回的…
暂无图片
编程学习 ·

RFID资产管理解决方案-RFID固定资产管理-新导智能

RFID资产管理解决方案系统集成了技能含量很高的远间隔无线射频辨认技能、短间隔射频技能及多用户防抵触技能监测技能,标签、定位器、读写器、通讯网关等,选用全新的嵌入式微处理器和嵌入式软件进行规划,体系信号穿透力强,对人体无电磁污染、环境适应性强,可一起定位多个标…
暂无图片
编程学习 ·

anaconda安装pytorch

CPU版本: https://pytorch.org/get-started/previous-versions/ #CPU only conda install pytorch1.2.0 torchvision0.4.0 cpuonly -c pytorch 参考博客 [1]https://blog.csdn.net/u014723479/article/details/103001861?utm_medium=distribute.pc_relevant.none-task-blog-B…
暂无图片
编程学习 ·

Embind用于将C ++和JavaScript交互

官方文档EmbindEmbind is used to bind C++ functions and classes to JavaScript, so that the compiled code can be used in a natural way by “normal” JavaScript. Embind also supports calling JavaScript classes from C++.Embind has support for binding most C++ …
暂无图片
编程学习 ·

使用john软件进行账户弱口令检测实验

使用john软件进行账户弱口令检测实验 前言 在生产环境中,服务器账号的密码能够不被黑客入侵破解是尤为重要的,关系着业务正常运行的安全,所以在创建完账户的密码后,我们需要进行弱口令的检测,排查出是否有容易被破解的密码存在。 本次实验使用的破解密码软件是john-1.8.0版…
暂无图片
郑州普通话 ·

学习笔记六——循环神经网络

一、RNN 前馈神经网络&#xff1a;信息往一个方向流动。包括MLP和CNN 循环神经网络&#xff1a;信息循环流动&#xff0c;网络隐含层输出又作为自身输入&#xff0c;包括RNN、LSTM、GAN等。 RNN模型结构如下图所示&#xff1a; 展开之后相当于堆叠多个共享隐含层参数的前馈…
暂无图片
代理记账 ·

学习笔记六——循环神经网络

一、RNN 前馈神经网络&#xff1a;信息往一个方向流动。包括MLP和CNN 循环神经网络&#xff1a;信息循环流动&#xff0c;网络隐含层输出又作为自身输入&#xff0c;包括RNN、LSTM、GAN等。 RNN模型结构如下图所示&#xff1a; 展开之后相当于堆叠多个共享隐含层参数的前馈…
暂无图片
cgfy ·

学习笔记六——循环神经网络

一、RNN 前馈神经网络&#xff1a;信息往一个方向流动。包括MLP和CNN 循环神经网络&#xff1a;信息循环流动&#xff0c;网络隐含层输出又作为自身输入&#xff0c;包括RNN、LSTM、GAN等。 RNN模型结构如下图所示&#xff1a; 展开之后相当于堆叠多个共享隐含层参数的前馈…
暂无图片
coreui ·

Heap Sort 讲解

Heap Sort sorts a group of unordered elements using the Heap data structure. The sorting algorithm using a Min Heap is as follows: Heapify all elements into a Min HeapRecord and delete the top elementPut to top element into an array T that stores all so
暂无图片
未来博客 ·

Heap Sort 讲解

Heap Sort sorts a group of unordered elements using the Heap data structure. The sorting algorithm using a Min Heap is as follows: Heapify all elements into a Min HeapRecord and delete the top elementPut to top element into an array T that stores all so
暂无图片
建站日记 ·

[react] 你觉得react上手快不快?它有哪些限制?

[react] 你觉得react上手快不快&#xff1f;它有哪些限制&#xff1f; 相对vue来说不快。 限制 需要学习JSX需要工程化的配置需要对原生JavaScript有相当的掌握react只是一个UI层面的库&#xff0c;像vue内置了动画处理、keep-alive等功能&#xff0c;react则需要去找第三方库…
暂无图片
mfbz ·

学习笔记六——循环神经网络

一、RNN 前馈神经网络&#xff1a;信息往一个方向流动。包括MLP和CNN 循环神经网络&#xff1a;信息循环流动&#xff0c;网络隐含层输出又作为自身输入&#xff0c;包括RNN、LSTM、GAN等。 RNN模型结构如下图所示&#xff1a; 展开之后相当于堆叠多个共享隐含层参数的前馈…
暂无图片
mfbz ·

AOV网是否存在回路-拓扑排序-C++

拓扑排序是对测试AOV网是否存在回路的方法&#xff01; 拓扑排序的过程中&#xff0c;由于需要查找所有以某顶点为尾的弧&#xff0c;即找到该顶点的所有出边&#xff0c;故图要采用邻接表的存储方式。但拓扑排序较邻接表的存储方式有一点不同&#xff0c;由于要查找入度为0的点…
暂无图片
珊珊日记 ·

学习笔记六——循环神经网络

一、RNN 前馈神经网络&#xff1a;信息往一个方向流动。包括MLP和CNN 循环神经网络&#xff1a;信息循环流动&#xff0c;网络隐含层输出又作为自身输入&#xff0c;包括RNN、LSTM、GAN等。 RNN模型结构如下图所示&#xff1a; 展开之后相当于堆叠多个共享隐含层参数的前馈…
暂无图片
珊珊日记 ·

AOV网是否存在回路-拓扑排序-C++

拓扑排序是对测试AOV网是否存在回路的方法&#xff01; 拓扑排序的过程中&#xff0c;由于需要查找所有以某顶点为尾的弧&#xff0c;即找到该顶点的所有出边&#xff0c;故图要采用邻接表的存储方式。但拓扑排序较邻接表的存储方式有一点不同&#xff0c;由于要查找入度为0的点…