开启kerberos配置HiveServer2负载均衡

耀灵1年前技术文章456


1.HAProxy配置HiveServer2负载均衡

1.编辑/etc/haproxy/haproxy.cfg文件,在文件末尾增加如下配置

listen stats
    bind 0.0.0.0:1080
    mode http
    option httplog
    maxconn 5000
    stats refresh 30s
    stats  uri /stats

listen hivejdbc
    bind 0.0.0.0:10099
    mode tcp
    option tcplog
    balance source
    server cdh02 cdh02:10000 check
    server cdh05 cdh05:10000 check


1.jpg

2.重启HAProxy服务

[root@cdh05 logs]# systemctl restart haproxy
[root@cdh05 logs]# systemctl status haproxy
● haproxy.service - HAProxy Load Balancer
   Loaded: loaded (/usr/lib/systemd/system/haproxy.service; enabled; vendor preset: disabled)
   Active: active (running) since Mon 2023-10-09 09:42:57 CST; 6s ago
 Main PID: 19497 (haproxy-systemd)
   CGroup: /system.slice/haproxy.service
           ├─19497 /usr/sbin/haproxy-systemd-wrapper -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid
           ├─19498 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
           └─19499 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds

Oct 09 09:42:57 cdh05 systemd[1]: Started HAProxy Load Balancer.
Oct 09 09:42:57 cdh05 haproxy-systemd-wrapper[19497]: haproxy-systemd-wrapper: executing /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
Oct 09 09:42:57 cdh05 haproxy-systemd-wrapper[19497]: [WARNING] 281/094257 (19498) : config : 'option forwardfor' ignored for proxy 'hivejdbc' as it requires HTTP mode.
[root@cdh05 logs]#

3.jpg

3.浏览器访问http://{hostname}:1080/stats


4.jpg

2.修改Hive配置

1.使用管理员登录Cloudera Manager的Web控制台,进入Hive服务

5.jpg

2.在配置项搜索“HiveServer2 Load Balancer”

6.jpg


保存配置,回到CM主页根据提示重启相应服务。

3.Beeline测试

使用多个终端同时访问,并执行SQL语句,查看是否会通过HAProxy服务自动负载到其它HiveServer2节点


1.使用Beeline访问HAProxy服务的10099端口,命令如下

7.jpg

相关文章

pg_dump

逻辑备份    PG提供了pg_dump、pg_dumpall两种方式进行逻辑备份,其区别就是pg_dumpall只能将数据库全部数据集dump到一个脚本文件中,而pg_dump可以选择指定数据库进行...

Linux运维工具

1.1 查看进程占用带宽情况 - NethogsNethogs 是一个终端下的网络流量监控工具可以直观的显示每个进程占用的带宽。1.2 硬盘读取性能测试 - IOZoneIOZone 是一款 Linu...

Kubernetes源码解读(三)-- Indexer和ThreadSafeStore源码分析

Kubernetes源码解读(三)-- Indexer和ThreadSafeStore源码分析

Indexer主要提供一个对象根据一定条件检索的能力,典型的实现是通过nameapce/name来构造key,通过ThreadSafeStore 来存储对象。换而言之,Indexer主要依赖于Thre...

CDH实操--CDH集成flink 1.13.6(二)

CDH实操--CDH集成flink 1.13.6(二)

一、编译flink1、下载flink1.13.6源码包wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.13.6/flink...

ranger审计Solr部署

安装前准备1.1. 创建用户和用户组groupadd solruseradd -g solr solr1.2. 添加环境变量vi /etc/profile export SOLR_HOME=/opt/...

keycloak高可用部署

keycloak高可用部署

添加keycloak应用rancher应用商店模式添加keycloak仓库地址rancher应用商店添加bitnami的helm仓库地址https://charts.bitnami.com/bitna...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。