开启kerberos配置HiveServer2负载均衡

耀灵2年前技术文章754


1.HAProxy配置HiveServer2负载均衡

1.编辑/etc/haproxy/haproxy.cfg文件,在文件末尾增加如下配置

listen stats
    bind 0.0.0.0:1080
    mode http
    option httplog
    maxconn 5000
    stats refresh 30s
    stats  uri /stats

listen hivejdbc
    bind 0.0.0.0:10099
    mode tcp
    option tcplog
    balance source
    server cdh02 cdh02:10000 check
    server cdh05 cdh05:10000 check


1.jpg

2.重启HAProxy服务

[root@cdh05 logs]# systemctl restart haproxy
[root@cdh05 logs]# systemctl status haproxy
● haproxy.service - HAProxy Load Balancer
   Loaded: loaded (/usr/lib/systemd/system/haproxy.service; enabled; vendor preset: disabled)
   Active: active (running) since Mon 2023-10-09 09:42:57 CST; 6s ago
 Main PID: 19497 (haproxy-systemd)
   CGroup: /system.slice/haproxy.service
           ├─19497 /usr/sbin/haproxy-systemd-wrapper -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid
           ├─19498 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
           └─19499 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds

Oct 09 09:42:57 cdh05 systemd[1]: Started HAProxy Load Balancer.
Oct 09 09:42:57 cdh05 haproxy-systemd-wrapper[19497]: haproxy-systemd-wrapper: executing /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
Oct 09 09:42:57 cdh05 haproxy-systemd-wrapper[19497]: [WARNING] 281/094257 (19498) : config : 'option forwardfor' ignored for proxy 'hivejdbc' as it requires HTTP mode.
[root@cdh05 logs]#

3.jpg

3.浏览器访问http://{hostname}:1080/stats


4.jpg

2.修改Hive配置

1.使用管理员登录Cloudera Manager的Web控制台,进入Hive服务

5.jpg

2.在配置项搜索“HiveServer2 Load Balancer”

6.jpg


保存配置,回到CM主页根据提示重启相应服务。

3.Beeline测试

使用多个终端同时访问,并执行SQL语句,查看是否会通过HAProxy服务自动负载到其它HiveServer2节点


1.使用Beeline访问HAProxy服务的10099端口,命令如下

7.jpg

相关文章

Flume使用案例之Flume与Flume之间数据传递(单Flume多Channel、Sink)

目标:使用flume1监控文件变动,flume1将变动内容传递给flume-2,flume-2负责存储到HDFS。同时flume1将变动内容传递给flume-3,flume-3负责输出到local分步...

 大数据集群监控配置操作指导(二)node_exporter+mysql_exporter部署

大数据集群监控配置操作指导(二)node_exporter+mysql_exporter部署

2.node_exporter监控集群服务器(所有集群服务器)wget https://github.com/prometheus/node_exporter/releases/download/v1...

开源大数据集群部署(二十)Trino部署

开源大数据集群部署(二十)Trino部署

2.9.1 解压trino的包到opt目录cd /root/bigdata tar -xzvf trino-server-389.tar.gz -C /opt/ ln -s /opt/trino-...

WAF 透明接入模式

WAF 透明接入模式

透明接入模式只需将需要防护的网站信息添加到WAF,无需修改域名的DNS解析设置,即可实现WAF防护。如果您的源站服务器为ECS服务器或者部署在阿里云公网SLB上,那么除了使用CNAME接入模式,还可以...

ES运维(五)聚合分析流程及精准度

ES运维(五)聚合分析流程及精准度

1、 概述ES是一个近实时的搜索引擎,提供近实时海量数据的聚合分析功能,但这个海量数据聚合分析是会损失一定的精准度来满足实时性能需要的。 2、 分布式系统的近似统计算法如下图,在分布式数据分...

.gitlab-ci.yml 语法

.gitlab-ci.yml 语法

介绍管道配置从作业(job)开始, 作业是 .gitlab-ci.yml 文件的最基本元素。job是:定义了约束,指出应在什么条件下执行具有任意名称的顶级元素,并且必须至少包含 script 子句不限...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。