大数据自动化巡检系统(一)

楼高1年前技术文章588

一、产品简介

EasyCare大数据自动化巡检平台是袋鼠云自研的一款大数据集群自动化巡检调优运维平台支持针对各类大数据组件服务接口其他组件等可用性稳定性进行自动巡检实现主动实时监控准确定位问题提供问题修复方法EasyCare根据袋鼠云多年在大数据行业深耕积累的经验提炼出具有针对性的巡检指标成熟稳定提效增质安全可靠

EasyCare作为开源大数据集群的诊断,会自动根据定时周期巡检集群。集群管理员只需要定期查看健康检查报告,并且根据报告中的建议对集群做相应的优化调整,即可全局了解集群的健康状况和动态走势,并保持集群的健康度

EasyCare自动化巡检将被动转化为主动,主动发现服务异常并提供可靠的解决方式,极大程度提升巡检效率、降低巡检人力投入。把传统人工突击抽查巡检方式,升级为全面化、常态化、规范化,提高用户体验及业务支撑能力。

摒弃传统重复手动巡检方式,通过自定义巡检脚本和脚本对象,进行即时性、周期性等巡检工作的自动化执行,并生成标准可视化报告,提效增质,轻松全面掌握运行状态及潜在风险。

二、产品架构

image.png

        三、产品功能模块

        EasyCare提供了基础配置管理、巡检模版管理、任务管理以及报告管理,通过各个维度巡检指标根据业务需求灵活配置巡检模版,根据周期选择配置任务调度周期,巡检结果通过不同类型可导出报表供运维人员查看修复,对于每个巡检指标提供对应的修复指导。

        四、产品核心特性及优势

        4.1 产品提供多集群,多主机灵活巡检

        产品可构建内部集群管理,也可以对接外部集群、主机信息进行巡检

        4.2 巡检指标丰富

       系统目前自带了几乎所有常用大数据组件巡检指标服务器基础层面巡检指标巡检指标易于扩展脚本类型丰富

      4.3 操作界面化

      巡检任务全程在界面操作无需在手动登录主机查看任务巡检完成之后自动收集结果收据分析整理报告一时间帮助运维人员了解服务的运行状态

      4.4 平台通用性

EasyCare目前支持巡检操作系统为SUSE,RedHat,CentOS等所有linux操作系统支持CDH/HDP/CDP/EasyMR等各种大数据集群    

4.5 巡检报告

巡检任务完成之后输出报告,作为隐患明细展示、配置巡检展示。以静态报告形式展示当前集群运行情况以及存在的问题,为运维人员提供基础数据,对巡检隐患进行优化调整,包括推进隐患治理,查看治理效率、趋势、薄弱点等

4.6 安全稳定

数据安全、产品安全是大数据产品需要重点考虑的问题。EasyCare在产品设计中可采用普通用户执行本次巡检任务普通用户所有操作都在tmp临时目录创建自己的执行目录所有巡检结果都会采集到普用用户自己的临时目录。同时所有巡检指标都没有任何删除动作如有创建文件等操作也是在自己临时目录操作





    

    






相关文章

hive元数据迁移

hive元数据迁移

一、在新集群中创建hive数据库,作为新集群中的元数据库。注意点:创建hive数据库时注意用户和用户的权限及使用的编码格式一致。查看旧集群中角色权限和编码格式,在新的hive元数据库中设置相同的角色权...

k8s Krew 插件开发详解

前言:前面我们已经了解过krew插件的作用以及一些比较常用的插件,接下来我们讲一下如何开发krew插件。1、熟悉kubens 插件在开发krew插件之前,我们先通过kubens插件来熟悉krew,我们...

Kubernetes openelb

1、背景在云服务环境中的 Kubernetes 集群里,通常可以用云服务提供商提供的负载均衡服务来暴露 Service,但是在本地没办法这样操作。而 OpenELB 可以让用户在裸金属服务器、边缘以及...

DBMS_MONITOR包跟踪10046

该包是从Oracle 10g开始提供的,Oracle官方支持。等于10046 level 12。--跟踪当前会话: EXEC DBMS_MONITOR.SESSION_TRACE_ENABLE;...

HBase Shell操作

基本操作1.进入HBase客户端命令行[root@cdh02 current]# hbase shell2.查看帮助命令hbase(main):001:0> help3.查看当前数据库中有哪些表...

greenplum安装配置

一、配置服务器安装环境1、修改服务器内核参数(所有节点)编辑sysctl.conf,需要设置共享内存Greenplum数据库使用共享内存在属于同一postgres实例的postgres进程之间进行通信...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。