ranger_audits更换审计日志保留时间

芒果10个月前技术文章496

本次测试集群为:
hdp: 3.1.5.0-152
Infra Solr: 0.1.0
Ranger: 1.2.0.3.1

修改Solr 的中ranger_audits 数据保留时长

F4FE9071-9FE4-4CD8-B161-3303047FA0B7.png


HDP、CDP中Ranger 的审计日志数据默认存储在Solr 的ranger_audits  中,默认的保留时长为90天,对于一个操作频繁的集群90天的保留时长的数据量会相当的大,并且数据量一大也会导致在Ranger 中查看审计信息日志变慢,建议在缩短数据保留时长,比如7天。具体修改操作步骤如下
hdp进入rangeradmin的节点 打开以下文件:
vim /usr/hdp/3.1.5.0-152/ranger-admin/contrib/solr_for_audit_setup/conf/solrconfig.xml
EC6C359E-BF99-487C-8D65-4C9589D1CFC4.png
找到如下配置,将保留数据时长修改为15天
<str name="fieldName">_ttl_</str>
<str name="value">+15DAYS</str>
需要注意的是关于这个保留时间是存在zk中的。
DCDCE8FF-09A7-4BC0-9C06-8783D0365AFD.png
需要把更改的文件上传到zk中
java -classpath .:/usr/lib/ambari-infra-solr/server/solr-webapp/webapp/WEB-INF/lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost hdp01:2181/infra-solr -confdir /usr/hdp/3.1.5.0-152/ranger-admin/contrib/solr_for_audit_setup/conf/ -confname ranger_audits
然后重启Solr生效,rangeradmin界面查看配置文件,查看是否已生效
F3D00CDC-A866-4C88-ADBF-5F9516B1C596.png
注意:更改配置和重新加载集合后新添加的文档将被自动删除。但是对于修改配置以前的数据文件需要通过命令手动删除,如下
curl -v --negotiate -u : "hdp01:8886/solr/ranger_audits/update?commit=true" -H "Content-Type: text/xml" --data-binary "<delete><query>evtTime:[* TO NOW-0DAYS]</query></delete>"

2075E8FE-D7A3-4948-BD74-A0AA96B9B1F4.png

标签: 大数据运维

相关文章

CDH时钟同步问题

CDH时钟同步问题

首先执行如下命令:查看chronyd是否启动systemctl status chronyd如果没启动执行如下命令启动systemctl restart chronyd每台检查时间状态chronyc...

dolphinscheduler部署-FAQ

dolphinscheduler部署-FAQ

如果是cdh集群会遇到一个问题5678端口被占用这是因为cdh的agent用了5678那我们改下配置文件文件:/opt/apache-dolphinscheduler-3.1.8-bin/st...

Hive优化之Spark执行引擎的参数优化(二)

Hive优化之Spark执行引擎的参数优化(二)

        Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中...

ES运维(二)字段类型与内存管理

ES运维(二)字段类型与内存管理

一、ES常见字段类型1、 概述字段是数据存储的最小微粒,根据数据的性质不同将数据分成不同的字段类型,熟悉不同字段类型的特性,对索引的Mapping设计、查询调优都极其重要。2、 关键参数In...

trino容器对接ldap(二)

trino容器对接ldap(二)

前提:本文前提是在trino容器已经对接上hive组件,并且ldap已经部署完成的基础上进行的对接。前提文章见:helm安装部署trino对接hive(一)安装部署1、设置证书因为不确定是在哪台机器中...

CDP实操--Ranger开启ldap认证

CDP实操--Ranger开启ldap认证

集群中已经部署了ldap主主模式,并且使用haproxy进行负载均衡,keepalive提供了虚拟ip。页面配置:Ranger进行同步用户:验证:使用ldap用户登录页面:FAQ:1、admin超级管...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。