ranger_audits更换审计日志保留时间

芒果2年前技术文章1482

本次测试集群为:
hdp: 3.1.5.0-152
Infra Solr: 0.1.0
Ranger: 1.2.0.3.1

修改Solr 的中ranger_audits 数据保留时长

F4FE9071-9FE4-4CD8-B161-3303047FA0B7.png


HDP、CDP中Ranger 的审计日志数据默认存储在Solr 的ranger_audits  中,默认的保留时长为90天,对于一个操作频繁的集群90天的保留时长的数据量会相当的大,并且数据量一大也会导致在Ranger 中查看审计信息日志变慢,建议在缩短数据保留时长,比如7天。具体修改操作步骤如下
hdp进入rangeradmin的节点 打开以下文件:
vim /usr/hdp/3.1.5.0-152/ranger-admin/contrib/solr_for_audit_setup/conf/solrconfig.xml
EC6C359E-BF99-487C-8D65-4C9589D1CFC4.png
找到如下配置,将保留数据时长修改为15天
<str name="fieldName">_ttl_</str>
<str name="value">+15DAYS</str>
需要注意的是关于这个保留时间是存在zk中的。
DCDCE8FF-09A7-4BC0-9C06-8783D0365AFD.png
需要把更改的文件上传到zk中
java -classpath .:/usr/lib/ambari-infra-solr/server/solr-webapp/webapp/WEB-INF/lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost hdp01:2181/infra-solr -confdir /usr/hdp/3.1.5.0-152/ranger-admin/contrib/solr_for_audit_setup/conf/ -confname ranger_audits
然后重启Solr生效,rangeradmin界面查看配置文件,查看是否已生效
F3D00CDC-A866-4C88-ADBF-5F9516B1C596.png
注意:更改配置和重新加载集合后新添加的文档将被自动删除。但是对于修改配置以前的数据文件需要通过命令手动删除,如下
curl -v --negotiate -u : "hdp01:8886/solr/ranger_audits/update?commit=true" -H "Content-Type: text/xml" --data-binary "<delete><query>evtTime:[* TO NOW-0DAYS]</query></delete>"

2075E8FE-D7A3-4948-BD74-A0AA96B9B1F4.png

标签: 大数据运维

相关文章

Java-API对HDFS的操作(IDEA版)

Java-API对HDFS的操作(IDEA版)

前期工作首先就是安装maven在win系统下不配置hadoop环境,直接运行代码会报错,显示缺少winutils.exe 和 hadoop.dll 两个文件首先添加pom.xml文件  <dep...

trino容器对接ldap(二)

trino容器对接ldap(二)

前提:本文前提是在trino容器已经对接上hive组件,并且ldap已经部署完成的基础上进行的对接。前提文章见:helm安装部署trino对接hive(一)安装部署1、设置证书因为不确定是在哪台机器中...

EMR-java配置国密SM4加密

EMR-java配置国密SM4加密

首先找到bcprov-jdk15on-1.56.jar这个包<dependency>    <groupId>org.bouncycastle</groupId> ...

CDP实操--Ranger开启ldap认证

CDP实操--Ranger开启ldap认证

集群中已经部署了ldap主主模式,并且使用haproxy进行负载均衡,keepalive提供了虚拟ip。页面配置:Ranger进行同步用户:验证:使用ldap用户登录页面:FAQ:1、admin超级管...

Hive架构图及Hive SQL的执行流程

Hive架构图及Hive SQL的执行流程

1、Hive产生背景MapReduce编程的不便性HDFS上的文件缺少Schema(表名,名称,ID等,为数据库对象的集合)2、Hive是什么Hive的使用场景是什么?基于Hadoop做一些数据清洗啊...

深度解读|云掣《云运维服务白皮书》全方位解析!

深度解读|云掣《云运维服务白皮书》全方位解析!

如今全球各行各业纷纷进行数字化变革,为适应数字经济环境下企业生存发展和市场变化的需要,企业选择进行主动的、系统性、整体性的数字化转型升级。大数据、云计算、人工智能、区块链等新一代信息通信技术为企业的数...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。