开启kerberos配置HiveServer2负载均衡

耀灵7个月前技术文章161


1.HAProxy配置HiveServer2负载均衡

1.编辑/etc/haproxy/haproxy.cfg文件,在文件末尾增加如下配置

listen stats
    bind 0.0.0.0:1080
    mode http
    option httplog
    maxconn 5000
    stats refresh 30s
    stats  uri /stats

listen hivejdbc
    bind 0.0.0.0:10099
    mode tcp
    option tcplog
    balance source
    server cdh02 cdh02:10000 check
    server cdh05 cdh05:10000 check


1.jpg

2.重启HAProxy服务

[root@cdh05 logs]# systemctl restart haproxy
[root@cdh05 logs]# systemctl status haproxy
● haproxy.service - HAProxy Load Balancer
   Loaded: loaded (/usr/lib/systemd/system/haproxy.service; enabled; vendor preset: disabled)
   Active: active (running) since Mon 2023-10-09 09:42:57 CST; 6s ago
 Main PID: 19497 (haproxy-systemd)
   CGroup: /system.slice/haproxy.service
           ├─19497 /usr/sbin/haproxy-systemd-wrapper -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid
           ├─19498 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
           └─19499 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds

Oct 09 09:42:57 cdh05 systemd[1]: Started HAProxy Load Balancer.
Oct 09 09:42:57 cdh05 haproxy-systemd-wrapper[19497]: haproxy-systemd-wrapper: executing /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
Oct 09 09:42:57 cdh05 haproxy-systemd-wrapper[19497]: [WARNING] 281/094257 (19498) : config : 'option forwardfor' ignored for proxy 'hivejdbc' as it requires HTTP mode.
[root@cdh05 logs]#

3.jpg

3.浏览器访问http://{hostname}:1080/stats


4.jpg

2.修改Hive配置

1.使用管理员登录Cloudera Manager的Web控制台,进入Hive服务

5.jpg

2.在配置项搜索“HiveServer2 Load Balancer”

6.jpg


保存配置,回到CM主页根据提示重启相应服务。

3.Beeline测试

使用多个终端同时访问,并执行SQL语句,查看是否会通过HAProxy服务自动负载到其它HiveServer2节点


1.使用Beeline访问HAProxy服务的10099端口,命令如下

7.jpg

相关文章

使用helm在k8s集群部署rancher

使用helm在k8s集群部署rancher由于我们的k8s版本是1.22,所以我们直接安装latest版本的rancher。不同版本的rancher helm仓库可以看下面链接https://docs...

C++ 编程:数组的定义

1. 什么是数组?数组让能够按顺序将一系列相同类型的数据存储到内存中 C++ 中的数组可分为静态数组 与 动态数组 两种。2. 静态数组首先介绍声明一个 静态数组 的语法:/* ElementType...

Linux 会话管理

Linux 会话管理

在 terminal 终端中输入命令,这种用户与计算机的临时交互称为一次会话(session)。会话的一个重要特点:与其中启动的进程是连在一起的,打开窗口、会话开始,关闭窗口、会话结束,会话内部的进程...

开启cgroup

开启cgroup

Control groups 是 Linux 内核提供的一种可以限制、记录、隔离进程组所使用的的物理资源的机制。Cgroup 子系统:blkio、CPU、cpuacct、cpuset、devices、...

LINUX 安全运维-用户

Linux提供了各种不同的用户和角色,而有些用户和角色,系统根本不需要,应该删除他们,因为帐号越多,系统就越不安全!黑客可能利用他们,威胁服务器的安全。删除不需要的用户:for i in {adm,l...

Elasticsearch如何使用内存

ES作为一个JAVA程序,其对内存的使用和管理依赖底层JVM。因而设置内存时需要遵从JAVA的普适原则,如-xmx和-xms设置为相同值等。在JVM的基础上,ES对内存的使用可按功能分为以下几大部分:...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。