Linux SSSD同步大量AD用户缓慢

櫰木5个月前技术文章136

1、背景

在使用AD + sssd (ad作为ldap)同步用户,其中AD中存在10000+ 用户,同步时,用户信息获取缓慢,导致cdh的namenode 的rpc 队列打高,服务不正常。id 用户达到9s左右需要进行优化

1.png

2、解决方案

1、缩小拉取用户范围,进行定点多ou同步,相关配置请参考前面的文章sssd 多ou用户同步

2、优化sssd.conf中的参数配置

根据相关参考文档添加以下参数

subdomain_inherit = ignore_group_members, ldap_purge_cache_timeout
ignore_group_members = True
ldap_purge_cache_timeout = 0

在tmpfs中挂载缓存

缺点: 在重启服务器后缓存丢失,需要重新进行缓存,缓存速度可能较慢

优点:缓存在内存中,io速度会很快

在/etc/fstab中添加

tmpfs /var/lib/sss/db/ tmpfs size=300M,mode=0700,rootcontext=system_u:object_r:sssd_var_lib_t:s0 0 0
mount  /var/lib/sss/db/
systemctl restart sssd

参考文档:https://jhrozek.wordpress.com/2015/08/19/performance-tuning-sssd-for-large-ipa-ad-trust-deployments/

3、测试

1、新建10000+用户

数据清单 :sample_data.csv

AD用户添加脚本

# 导入Active Directory模块
Import-Module ActiveDirectory

# 从CSV文件中读取用户信息
$users = Import-Csv -Path 'C:\sample_data.csv'

# 迭代遍历每个用户信息
foreach ($user in $users) {
    # 解析用户信息
    $firstname = $user.FirstName
    $lastname = $user.LastName
    $username = $user.UserName
    $password = $user.Password
    $ou = $user.OU

    # 创建用户
    $newUserParams = @{
        SamAccountName = $username
        UserPrincipalName = "$username@fzcdh.com"
        Name = "$firstname"
        GivenName = $firstname
        Surname = $lastname
        Path = $ou
        AccountPassword = (ConvertTo-SecureString -String $password -AsPlainText -Force)
        Enabled = $true
        PasswordNeverExpires = $true
    }
  
    New-ADUser @newUserParams
}

2、使用并发脚本进行性能验证(依赖python3,pandas)

import pandas as pd
import threading
import subprocess

# 读取CSV文件
data = pd.read_csv('sample_data.csv',nrows=0)

# 定义一个函数,生成随机命令并执行
def execute_random_command(row):
    id = row['ID']
    username = row['UserName']

    # 生成随机命令(示例中为打印ID和用户名)
    command = f"echo 'ID: {id}, Username: {username}'"

    # 执行命令
    result = subprocess.getoutput(command)
    print(result)

# 创建多线程来执行随机命令
threads = []
for _, row in data.iterrows():
    thread = threading.Thread(target=execute_random_command, args=(row,))
    threads.append(thread)
    thread.start()

# 等待所有线程完成
for thread in threads:
    thread.join()

print("所有命令执行完成")

查看用户获取时间是否正常

python3 cc.py > cc.log

2.png

相关文章

trino开启https

trino开启https

一、生成https证书(所用到的openssl和keytool命令都是linux自带的)配置https证书:(1)创建目录[hdfs@hadoop01 hadoop]# mkdir -p /data/...

数仓主流架构简介之一

数仓主流架构简介之一

一、Lambda架构Apache Storm的创建者Nathan Marz于 2011 年开发,旨在解决大规模实时数据处理的挑战。Lambda数据架构提供了一个可扩展、容错且灵活的系统来处理大量数据。...

MySQL运维实战之ProxySQL(9.9)proxysql自身高可用

MySQL运维实战之ProxySQL(9.9)proxysql自身高可用

proxysql作为一个程序,本身也可能出现故障。部署proxysql的服务器也肯能出现故障。高可用架构的一个基本原则是消除单点。可以在多个节点上部署proxysql,在proxysql之前再加一层负...

NameNode和SecondaryNameNode工作详解

NameNode和SecondaryNameNode工作详解

一、NN和SNN工作机制我们可以思考一个问题:NameNode中的元数据是存储在哪里的首先假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问NameNode的元数据,响应客户请求,...

Pod终止-preStop

由于 Pod 所代表的是在集群中节点上运行的进程,当不再需要这些进程时允许其体面地 终止一般不应武断地使用 KILL 信号终止它们设计的目标是令你能够请求删除进程,并且知道进程何时被终止,同时也能够确...

hdfs短路读

hdfs短路读

原理当客户端执行数据块副本短路读时,Client与DataNode的交互过程具体如下图:含义如下:(1)DFSClient通过requestShortCircuitShm()接口向DataNode请求...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。