开启kerberos配置HiveServer2负载均衡

耀灵2年前技术文章699


1.HAProxy配置HiveServer2负载均衡

1.编辑/etc/haproxy/haproxy.cfg文件,在文件末尾增加如下配置

listen stats
    bind 0.0.0.0:1080
    mode http
    option httplog
    maxconn 5000
    stats refresh 30s
    stats  uri /stats

listen hivejdbc
    bind 0.0.0.0:10099
    mode tcp
    option tcplog
    balance source
    server cdh02 cdh02:10000 check
    server cdh05 cdh05:10000 check


1.jpg

2.重启HAProxy服务

[root@cdh05 logs]# systemctl restart haproxy
[root@cdh05 logs]# systemctl status haproxy
● haproxy.service - HAProxy Load Balancer
   Loaded: loaded (/usr/lib/systemd/system/haproxy.service; enabled; vendor preset: disabled)
   Active: active (running) since Mon 2023-10-09 09:42:57 CST; 6s ago
 Main PID: 19497 (haproxy-systemd)
   CGroup: /system.slice/haproxy.service
           ├─19497 /usr/sbin/haproxy-systemd-wrapper -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid
           ├─19498 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
           └─19499 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds

Oct 09 09:42:57 cdh05 systemd[1]: Started HAProxy Load Balancer.
Oct 09 09:42:57 cdh05 haproxy-systemd-wrapper[19497]: haproxy-systemd-wrapper: executing /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
Oct 09 09:42:57 cdh05 haproxy-systemd-wrapper[19497]: [WARNING] 281/094257 (19498) : config : 'option forwardfor' ignored for proxy 'hivejdbc' as it requires HTTP mode.
[root@cdh05 logs]#

3.jpg

3.浏览器访问http://{hostname}:1080/stats


4.jpg

2.修改Hive配置

1.使用管理员登录Cloudera Manager的Web控制台,进入Hive服务

5.jpg

2.在配置项搜索“HiveServer2 Load Balancer”

6.jpg


保存配置,回到CM主页根据提示重启相应服务。

3.Beeline测试

使用多个终端同时访问,并执行SQL语句,查看是否会通过HAProxy服务自动负载到其它HiveServer2节点


1.使用Beeline访问HAProxy服务的10099端口,命令如下

7.jpg

相关文章

nginx配置反向代理某个url

nginx配置反向代理某个url

本文讲的这个漏洞 主要是为了解决漏洞扫描的问题我先介绍下这个漏洞主要是因为访问https://172.16.120.17:18090/ws/v1/cluster/info这个 yarn rest的一个...

spark指标性能分析

spark指标性能分析

1)      Spark的性能指标   任务启动后可以在yarn的原生页面看到对应的任务信息,点击ApplicationMast...

使用Sqoop将数据从Hive导入MySQL(一)

使用Sqoop将数据从Hive导入MySQL(一)

使用Sqoop将数据从Hive导入MySQL首先查看csv数据类型创建类似的hive表并导入数据CREATE TABLE data (    province STRING,    code INT,...

image.png

KVM网络配置

一、创建桥接网络1、创建桥接网卡br0(相当于vmnet1桥接器)cd /etc/sysconfig/network-scripts/cp ifcfg-ens33 ifcfg-br02、修改br0参数...

Redis 源码安装

Redis 源码安装

1. 下载安装包Linux 中常用两种安装方法,第一种是通过操作系统软件管理软件来安装,例如 CentOS 中的 yum Ubuntu 中的 apt。由于 Redis 更新比较快,而这些软件也不一定更...

Hbase部署

安装前准备1.1. 设置环境变量所有hbase节点都要做vi /etc/profile export HBASE_HOME=/opt/hbaseexport PATH=$PATH:$HBASE_HOM...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。