开启kerberos配置HiveServer2负载均衡

耀灵2年前技术文章654


1.HAProxy配置HiveServer2负载均衡

1.编辑/etc/haproxy/haproxy.cfg文件,在文件末尾增加如下配置

listen stats
    bind 0.0.0.0:1080
    mode http
    option httplog
    maxconn 5000
    stats refresh 30s
    stats  uri /stats

listen hivejdbc
    bind 0.0.0.0:10099
    mode tcp
    option tcplog
    balance source
    server cdh02 cdh02:10000 check
    server cdh05 cdh05:10000 check


1.jpg

2.重启HAProxy服务

[root@cdh05 logs]# systemctl restart haproxy
[root@cdh05 logs]# systemctl status haproxy
● haproxy.service - HAProxy Load Balancer
   Loaded: loaded (/usr/lib/systemd/system/haproxy.service; enabled; vendor preset: disabled)
   Active: active (running) since Mon 2023-10-09 09:42:57 CST; 6s ago
 Main PID: 19497 (haproxy-systemd)
   CGroup: /system.slice/haproxy.service
           ├─19497 /usr/sbin/haproxy-systemd-wrapper -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid
           ├─19498 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
           └─19499 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds

Oct 09 09:42:57 cdh05 systemd[1]: Started HAProxy Load Balancer.
Oct 09 09:42:57 cdh05 haproxy-systemd-wrapper[19497]: haproxy-systemd-wrapper: executing /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
Oct 09 09:42:57 cdh05 haproxy-systemd-wrapper[19497]: [WARNING] 281/094257 (19498) : config : 'option forwardfor' ignored for proxy 'hivejdbc' as it requires HTTP mode.
[root@cdh05 logs]#

3.jpg

3.浏览器访问http://{hostname}:1080/stats


4.jpg

2.修改Hive配置

1.使用管理员登录Cloudera Manager的Web控制台,进入Hive服务

5.jpg

2.在配置项搜索“HiveServer2 Load Balancer”

6.jpg


保存配置,回到CM主页根据提示重启相应服务。

3.Beeline测试

使用多个终端同时访问,并执行SQL语句,查看是否会通过HAProxy服务自动负载到其它HiveServer2节点


1.使用Beeline访问HAProxy服务的10099端口,命令如下

7.jpg

相关文章

flink应用场景分析

•       Flink适合场景:•       实时数据流处理,对实时的海量...

linux中的buffer和cache

linux中的buffer和cache

linux中的buffer和cache一、buffer和cache的来源及应用1、来源Buffer 是缓冲区,而 Cache 是缓存,两者都是数据在内存中的临时存储。那么,这两种“临时存储”有什么区别...

Spark thriftserver对接cdh hive

Spark thriftserver对接cdh hive

1、背景客户需要使用spark的thriftserver来通过beeline或者jdbc 来使用spark sql环境: spark 3.2.0hive: 2.1.1-cdh6.3.2hadoop:...

Linux下的IO统计工具:iostat,iotop

Linux下的IO统计工具:iostat,iotop

iostat      监视系统输入输出设备和CPU的使用情况。iostat命令 被用于监视系统输入输出设备和CPU的使用情况。它的特点是汇报磁盘活动统计情况,同时也会汇报出CPU使用情况。同vmst...

k8s删除Terminating状态的命名空间

问题描述Kubernetes中namespace有两种常见的状态,即Active和Terminating状态,其中Terminating状态一般会比较少见,当对应的命名空间下还存在运行的资源,但该命名...

CDP实操--配置HBase的Ranger策略验证(三)

CDP实操--配置HBase的Ranger策略验证(三)

1.1HBase的Ranger策略验证确保HBase的配置页面里已经勾选了“Ranger Service”在terminal中,kerberos登录到hbase,用如下命令登录hbase shellc...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。