开启kerberos配置HiveServer2负载均衡
1.HAProxy配置HiveServer2负载均衡
1.编辑/etc/haproxy/haproxy.cfg文件,在文件末尾增加如下配置
listen stats bind 0.0.0.0:1080 mode http option httplog maxconn 5000 stats refresh 30s stats uri /stats listen hivejdbc bind 0.0.0.0:10099 mode tcp option tcplog balance source server cdh02 cdh02:10000 check server cdh05 cdh05:10000 check
2.重启HAProxy服务
[root@cdh05 logs]# systemctl restart haproxy [root@cdh05 logs]# systemctl status haproxy ● haproxy.service - HAProxy Load Balancer Loaded: loaded (/usr/lib/systemd/system/haproxy.service; enabled; vendor preset: disabled) Active: active (running) since Mon 2023-10-09 09:42:57 CST; 6s ago Main PID: 19497 (haproxy-systemd) CGroup: /system.slice/haproxy.service ├─19497 /usr/sbin/haproxy-systemd-wrapper -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid ├─19498 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds └─19499 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds Oct 09 09:42:57 cdh05 systemd[1]: Started HAProxy Load Balancer. Oct 09 09:42:57 cdh05 haproxy-systemd-wrapper[19497]: haproxy-systemd-wrapper: executing /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds Oct 09 09:42:57 cdh05 haproxy-systemd-wrapper[19497]: [WARNING] 281/094257 (19498) : config : 'option forwardfor' ignored for proxy 'hivejdbc' as it requires HTTP mode. [root@cdh05 logs]#
3.浏览器访问http://{hostname}:1080/stats
2.修改Hive配置
1.使用管理员登录Cloudera Manager的Web控制台,进入Hive服务
2.在配置项搜索“HiveServer2 Load Balancer”
保存配置,回到CM主页根据提示重启相应服务。
3.Beeline测试
使用多个终端同时访问,并执行SQL语句,查看是否会通过HAProxy服务自动负载到其它HiveServer2节点
1.使用Beeline访问HAProxy服务的10099端口,命令如下