ranger_audits更换审计日志保留时间

芒果2年前技术文章1616

本次测试集群为:
hdp: 3.1.5.0-152
Infra Solr: 0.1.0
Ranger: 1.2.0.3.1

修改Solr 的中ranger_audits 数据保留时长

F4FE9071-9FE4-4CD8-B161-3303047FA0B7.png


HDP、CDP中Ranger 的审计日志数据默认存储在Solr 的ranger_audits  中,默认的保留时长为90天,对于一个操作频繁的集群90天的保留时长的数据量会相当的大,并且数据量一大也会导致在Ranger 中查看审计信息日志变慢,建议在缩短数据保留时长,比如7天。具体修改操作步骤如下
hdp进入rangeradmin的节点 打开以下文件:
vim /usr/hdp/3.1.5.0-152/ranger-admin/contrib/solr_for_audit_setup/conf/solrconfig.xml
EC6C359E-BF99-487C-8D65-4C9589D1CFC4.png
找到如下配置,将保留数据时长修改为15天
<str name="fieldName">_ttl_</str>
<str name="value">+15DAYS</str>
需要注意的是关于这个保留时间是存在zk中的。
DCDCE8FF-09A7-4BC0-9C06-8783D0365AFD.png
需要把更改的文件上传到zk中
java -classpath .:/usr/lib/ambari-infra-solr/server/solr-webapp/webapp/WEB-INF/lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost hdp01:2181/infra-solr -confdir /usr/hdp/3.1.5.0-152/ranger-admin/contrib/solr_for_audit_setup/conf/ -confname ranger_audits
然后重启Solr生效,rangeradmin界面查看配置文件,查看是否已生效
F3D00CDC-A866-4C88-ADBF-5F9516B1C596.png
注意:更改配置和重新加载集合后新添加的文档将被自动删除。但是对于修改配置以前的数据文件需要通过命令手动删除,如下
curl -v --negotiate -u : "hdp01:8886/solr/ranger_audits/update?commit=true" -H "Content-Type: text/xml" --data-binary "<delete><query>evtTime:[* TO NOW-0DAYS]</query></delete>"

2075E8FE-D7A3-4948-BD74-A0AA96B9B1F4.png

标签: 大数据运维

相关文章

HBase导出表和备份表操作

HBase导出表和备份表操作

HBase提供了几种导出数据的方式,包括使用HBase自带的工具和使用HBase的API。本文主要是讲的使用HBase自带的工具进行导出首先我们创建一个表 插入一些数据hbase shelllistc...

mysql8 rpm安装教程

1:卸载原有REPO源查询已经存在的mysql及相关依赖包rpm -qa | grep mysql此时你会看到一堆列表,使用 yum 命令依次卸载yum remove mysql-xxx-xxx-xx...

dolphinscheduler单机部署

dolphinscheduler单机部署

官网链接:https://dolphinscheduler.apache.org本次测试版本为:https://dolphinscheduler.apache.org/zh-cn/download/3...

Hadoop集群小文件合并优化建议指导

Hadoop集群小文件合并优化建议指导

1 综述1.1 综述本指导书旨在指导大数据集群使用者在大数据集群小文件较多的情况下,针对小文件进行优化处理,有效减小集群文件对象数目,减缓namenode所承载的压力,减少mapreduce任务扫描文...

Haproxy配置负载均衡

yum安装haproxy如果后面要配置高可用,和keepalived配合使用更佳。yum install haproxy修改配置文件设置impala和ldap的负载均衡(Impala Daemon分布...

内存--模拟内存打满

1 tmpfs介绍tmpfs是一种虚拟内存文件系统,正如这个定义它最大的特点就是它的存储空间在VM里面     VM是由linux内核里面的vm子系统管理的东...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。