大数据自动化巡检系统(一)

楼高3年前技术文章2211

一、产品简介

EasyCare大数据自动化巡检平台是袋鼠云自研的一款大数据集群自动化巡检调优运维平台支持针对各类大数据组件服务接口其他组件等可用性稳定性进行自动巡检实现主动实时监控准确定位问题提供问题修复方法EasyCare根据袋鼠云多年在大数据行业深耕积累的经验提炼出具有针对性的巡检指标成熟稳定提效增质安全可靠

EasyCare作为开源大数据集群的诊断,会自动根据定时周期巡检集群。集群管理员只需要定期查看健康检查报告,并且根据报告中的建议对集群做相应的优化调整,即可全局了解集群的健康状况和动态走势,并保持集群的健康度

EasyCare自动化巡检将被动转化为主动,主动发现服务异常并提供可靠的解决方式,极大程度提升巡检效率、降低巡检人力投入。把传统人工突击抽查巡检方式,升级为全面化、常态化、规范化,提高用户体验及业务支撑能力。

摒弃传统重复手动巡检方式,通过自定义巡检脚本和脚本对象,进行即时性、周期性等巡检工作的自动化执行,并生成标准可视化报告,提效增质,轻松全面掌握运行状态及潜在风险。

二、产品架构

image.png

        三、产品功能模块

        EasyCare提供了基础配置管理、巡检模版管理、任务管理以及报告管理,通过各个维度巡检指标根据业务需求灵活配置巡检模版,根据周期选择配置任务调度周期,巡检结果通过不同类型可导出报表供运维人员查看修复,对于每个巡检指标提供对应的修复指导。

        四、产品核心特性及优势

        4.1 产品提供多集群,多主机灵活巡检

        产品可构建内部集群管理,也可以对接外部集群、主机信息进行巡检

        4.2 巡检指标丰富

       系统目前自带了几乎所有常用大数据组件巡检指标服务器基础层面巡检指标巡检指标易于扩展脚本类型丰富

      4.3 操作界面化

      巡检任务全程在界面操作无需在手动登录主机查看任务巡检完成之后自动收集结果收据分析整理报告一时间帮助运维人员了解服务的运行状态

      4.4 平台通用性

EasyCare目前支持巡检操作系统为SUSE,RedHat,CentOS等所有linux操作系统支持CDH/HDP/CDP/EasyMR等各种大数据集群    

4.5 巡检报告

巡检任务完成之后输出报告,作为隐患明细展示、配置巡检展示。以静态报告形式展示当前集群运行情况以及存在的问题,为运维人员提供基础数据,对巡检隐患进行优化调整,包括推进隐患治理,查看治理效率、趋势、薄弱点等

4.6 安全稳定

数据安全、产品安全是大数据产品需要重点考虑的问题。EasyCare在产品设计中可采用普通用户执行本次巡检任务普通用户所有操作都在tmp临时目录创建自己的执行目录所有巡检结果都会采集到普用用户自己的临时目录。同时所有巡检指标都没有任何删除动作如有创建文件等操作也是在自己临时目录操作





    

    






相关文章

MySQL 复制-有数据环境搭建异步复制

MySQL 复制-有数据环境搭建异步复制

前言本 SOP 介绍的是已有数据的场景下如果部署主从复制,因为是生产环境而且有数据,我们就需要先将主库的数据同步到从库再建立复制关系,还需要根据数据量来选择更适合的备份工具。一、步骤归纳单实例安装:新...

hbase开启thrift进程(ThriftServer服务)

hbase开启thrift进程(ThriftServer服务)

简介:Hbase是目前比较火的列存储数据库,由于Hbase是用Java写的,因此它原生地提供了Java接口,对非Java程序人员,它提供了thrift接口服务器。1.启动thrift-server要使...

Nexus 制品管理平台

Nexus 制品管理平台

Nexus 官网:https://www.sonatype.com/nexus-repository-ossNexus 是一个很强大的私服软件,不仅仅是作为 Java 的 Maven 打包使用,同样的...

trino容器对接ldap(二)

trino容器对接ldap(二)

前提:本文前提是在trino容器已经对接上hive组件,并且ldap已经部署完成的基础上进行的对接。前提文章见:helm安装部署trino对接hive(一)安装部署1、设置证书因为不确定是在哪台机器中...

Zeppelin简介

1.    Zeppelin1.1.  Zeppelin是什么zeppelin是一个非常流行的开源数据探索分析平台。zeppelin集成了非...

trino容器设置nodeselector(七)

trino容器设置nodeselector(七)

查看node labelkubectl get nodes --show-labels2、在容器中设置nodeselector属性  nodeSelector:     dps: "1"查看k8s...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。