Splunk虽无Hadoop撑腰但却分析和运维兼备

el/2024/6/13 21:18:23



说起大数据分析平台,我们每个人基本上都会想起Hadoop,因为Hadoop在结构和非结构大数据分析领域确实无可替代。它提供了HDFSMapReduce两个基本功能实现分布式存储和大数据索引和分析,最关键的是Hadoop建立起了自己的完整生态环境,包括数据仓库HivePig、数据库HBaseDynamoDBMongoDBCouchDB NoSQL等等,以及ClouderaHortonworksMapRHadoop解决方案提供商。

Hadoop从目前来看是最知名的软件架构平台,但它决不是唯一的大数据架构平台,Hadoop主要应用在消费、互联网和运营数据的分析领域。那我们今天花点时间来聊一下,专门基于IT机器设备大数据VolumeVelocityVarietyVariability特性而设计的IT Search Engine,它叫Splunk机器数据的引擎。由于在项目中遇到,故而花了点时间进行了简单分析。

Splunk是专门设计给组织和机构使用的IT搜索引擎(SearchEngine),它将雅虎、Google的搜寻技术与概念发扬光大,如今组织和机构可以用Splunk来管理任何复杂的 IT 系统,使用Splunk可收集、索引和利用所有应用程序、服务器和设备(物理、虚拟和云中)生成的快速移动型计算机数据。

由于Splunk这个产品专门分析IT机器设备产生的大数据,所以在大数据世界里面显得比较低调。Splunk除了具备大数据分析能力外,还突破过去各种IT管理工具(IBM Tivoli, HP OpenView, CA UniCenter)的使用方式,Splunk采用简单易懂的关键词搜寻方式,来协助IT人员找寻与解决IT问题。从复杂的机器数据中提取有用的信息。

 

Splunk本身还是一个可用来开发处理大数据分析应用的一个平台,具备完整强大的API集,可以嵌入PythonJavaRubyPHPC#等一起使用。并提供了基于浏览器界面的SplunkWeb和命令行交互接口。

IT人员就可以透过Browser使用Splunk并对组织和机构的各种ITData进行关键词搜寻,快速地得到所需要的数据,除此之外Splunk本身还具有计算能力,管理者可以透过Splunk将搜寻所得的结果立即做运算处理,产生各种报告、图表与警示,而且还可以设定Splunk进行排程定时搜寻,并将结果以Email Alert方式通知相关人员。

 

Splunk的主要功能决定了它既具备大数据分析能力,也拥有IT设备管理能力,下面我们重点看看Splunk的重要特性。

Splunk 具备多样且弹性的数据搜集方法,可以检索各种型态的IT data,不限定 IT Data format,并收集来自各种不同的应用系统和网络设备,同时可搜寻 资安日志、系统日志、应用程序日志Splunk能够进一步监控文件系统中设定配置的变更,做变更管理,更可链接各种网络通讯端口(Ports)去接收SyslogSNMP和来自其他各式各样网络装置的数据。

 

Splunk能够定期排程执行,并依据搜寻结果发出各项警示通知,可以透过emailRSSSNMP等方式链接其他管理接口,可触发执行自行定义的因应方式,例如重新启动应用程序、系统或网络设备。

Splunk提供强大的报表能力,能够将搜寻结果以各项清晰的图表呈现,更可弹性化地产制出组织和机构管理阶层所想要的报告内容。

 

由各种设备所产生的ITdata是相当枯燥乏味的,透过Splunk可将它转化为切实可用的重要IT信息,并且能为任何人所用,不需要太多艰深的知识即可找出想要的信息。

IT信息其重要性不言可喻,Splunk可整合组织和机构既有的认证系统进行安全管控,确保数据在存取、分析和稽核时不会破坏数据的完整性。认证与用户许可证管理可与 AD, eDirectory LDAP 整合;可使用 SSL/TCP 接收发送日志与 HTTPS 加密管理。

 

 

 

Splunk具备良好的扩展能力,支持分布式部署和HA架构部署提供可靠性,并且在分布式部署时可以提供多站点数据和分析的统一视图。

至此,我们应该对Splunk的功能有了比较全面的了解,那在日常运维和数据管理过程中系统/数据中心管理员是怎么使用Splunk呢,以及Splunk最适合的场景是什么呢,接下来我们一起聊一下这个话题。

第一个场景就是日常运维排错,Splunk根据不同主机来源的日志来分析交易耗时情况、交易量、响应码成功比率等。业务维护人员也可以通过简单的交易流水号、卡号、账号等简单条件快速定位匹配的事件进行关联分析,输出实时报表或定位到问题的根源。

第二个场景是安全合规和日志审计,通常日志分散不便管理,环境复杂、设备品牌繁多日志格式很难统一。但是日志合规性要求重要日志文件保存时间比较长,需要根据审计记录进行分析、并生成统计报表,还要保证数据安全,避免非预期的删除和修改,另外还要遵循统一的安全策略进行审计。

为了解决这些问题,Splunk支持日志格式定义、支持多样日志格式、具备查询快、易分析,通过审计记录保护,灵活定制展现层的能力来实现安全合规和日志审计。

 

还有一个重要的场景是应用数据分析和监控,例如大型银行拥有大量的应用系统,如交易系统、网上银行等,通过Splunk可以对交易时延进行监控、以便针对用户的体验做出调整。


温馨提示:

请搜索“ICT_Architect”“扫一扫”下面二维码关注公众号,获取更多精彩内容。




http://www.ngui.cc/el/4994575.html

相关文章

大数据时代下数据重删的考虑

 大家周末愉快,今天我也是首次推送有偿阅读文章,虽然平时工作忙,但在下班后尽可能挤时间总结一些平时工作中遇到的技术来和大家分享,但是每次看到文章的阅读量,发现关注我的粉丝人数和阅读量相…

先谈云计算再谈云大会

 针对第八届中国云计算大会前几天我写过一个介绍文章,今天我想在介绍该盛会之前,给大家首先分享下云计算在目前落地的情况和主要的云玩家、以及目前这些厂家的基本战略,这样大家可以在享受周末愉快时光、了解大会的同…

解析Ceph和9000分布式存储

 Ceph是呼声很高的开源分布式的SDS产品存储系统。同时提供对象存储、块存储和文件系统存储三种功能,满足不同应用需求。Ceph使用C++语言开发,遵循LGPL协议开源。Sage Weil(Ceph论文发表者)于2011年创立了以Inktank公司主导Ceph的开发和社区维护。2014年Redhat收购 …

浅析端到端方案兼容性

今天想跟大家讨论下数据中心解决方案和设备兼容性话题,随着信息技术的发展和新旧设备的更替,不同设备间的兼容性问题是客户和厂商必须面对的现实问题,一方面产品不断推出新功能满足不断攀升的客户需求,另一方面客户的计划性、周期…

X86架构小机以何应对核心业务

 随着近期华为发布基于X86架构的小型机Kunlun,X86小型机在业内引发很多不同声音。我最近刚好参加了一次Kunlun发布会并看了Kunlun在金融等行业方案简单介绍,今天也正好利用周末时间,谈谈我个人对开放架构小机的看法和理解。 话题还得从小型机发展开始说起,…

雨水泛洪和网络泛洪那个更可怕

 每逢烈日当头都酷暑难耐,每逢想起“哪儿凉快哪儿待着去”这句话,都让人倍感关怀之至。近日雨水充沛、风清气爽,但全国上下顿时滔滔,山坡流石、泥水缭绕,欲与房屋试比高。 雨水泛洪非常可怕,此图让人一斑见全貌。让我们为那些深受洪水侵袭的人们祈福,早日度过…

OpenStack云数据的护花使者Smaug

 ICT架构师技术交流(微信号ICT_Architect) 分析和交流ICT行业最前沿技术,分享云计算、存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识,旨在知识交流、开放共享和共同进步。 Smaug是一个OpenStack中提供应用数据保…

【Ceph专题】 Ceph架构详细分析

 Ceph专题一 Ceph架构详细分析 支持原创,支持ICT架构师技术交流(微信号ICT_Architect) 分析和交流ICT行业最前沿技术,分享云计算、存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识,旨在知识交流、开放共享和共同进步。 Ceph是呼声很高的开源分布式的SDS产品…

云时代下,传统和新型存储的博弈已经开始

 云时代下,传统和新型存储的博弈已经开始 ICT架构师技术交流 (微信号ICT_Architect) 分析和交流ICT行业最前沿技术,分享更多存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识,旨在知识交流、开放共享和共同…

有哪些IT巨头,在打造Ceph这朵开源存储金花?

 ICT架构师技术交流(微信号ICT_Architect) 分析和交流ICT行业最前沿技术,分享更多存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识,旨在知识交流、开放共享和共同进步。 关于Ceph架构和RedHat企业版Ceph Storage 2特…