A集群导入B集群中的高可用版rancher,一直处于pending状态

小丫2年前技术文章1609

问题现象:

已知在B集群中采用helm方式部署了一个高可用版本的rancher,该rancher中已经配置导入了三套集群,并且三套集群状态在rancher控制台处均显示正常,日常可借助该rancher管控这三套集群。现在公司内另外又新部署了一套k8s集群,假定名称为A集群,通过rancher控制台配置导入该A集群,发现rancher控制台处该集群状态一直显示为pending状态。

排查步骤:

rancher控制台上A集群状态显示为pending,没有其它任何报错提示,所以首先登录到B集群,然后查看rancher server端的日志是否有报错。

经核查,rancher server端有报错,具体报错内容忘记保存下来了,但是rancher server端的报错内容不太好定位具体是哪里的问题。

去A集群中查看rancher agent端是否有报错,最终看到有连接rancher server端端口超时的报错。

于是,登陆到A集群的rancher agent 的pod内,打算使用telnet测试下到rancher server端端口的连通性,发现pod内没有telnet命令。

1、pod内ping目标主机ip

尝试在A集群手动启动一个测试busybox,如下:

image.png

在该pod内测试到rancher server端的网络连通性,如下:pod内ping rancher server端pod所在的主机ip,ping不通

image.png

同时在该pod所在的主机节点上抓包,会发现,只有到目标地址的请求包,没有回包

image.png

然后在目标主机上抓包,可以看到有正常的请求包以及回包

image.png

2、pod所在主机ping目标主机


在busybox pod所在的集群A 主机节点测试到集群B主机节点ip的网络联通性,如下:集群A主机 ping集群B主机,可以正常ping通

image.png

结论:

最终排查,发现是由于集群A中pod的网段和主机网段冲突导致。


image.png

查看生效的pod网段可以直接使用命令:

kubectl get IPPool

总结:

k8s跨集群网络互通访问,如果出现网络不通的情况。

一般是优先从以下两个方面排查:

1、集群内网络插件是否正常。状态是否正常;网络插件日志是否有刷异常

2、网段是否有冲突情况。pod主机网段、主机网段


相关文章

k8s集群状态与日志查看

一、状态查看1. 查看 Pod 状态以及运行节点kubectl get pods -o widekubectl -n kube-system get pods -o wide2. 查看 Pod 事件k...

MySQL优化器特性(四)表关联之BNL(Block Nested Loop)和Hash Join

MySQL优化器特性(四)表关联之BNL(Block Nested Loop)和Hash Join

什么是BNLMySQL表关联时,如果关联条件上没有合适的索引,则join时,对于驱动表的每一条记录,都需要全表扫描被驱动表。如果驱动表有多条数据,则需要多次全表扫描被驱动表,查询性能很差。对于这种情况...

HBase 的 BulkLoad 机制

HBase 的 BulkLoad 机制

1.概述在实际生产环境中,有这样一种场景:用户数据位于HDFS中,业务需要定期将这部分海量数据导入 HBase 系统,以执行随机查询更新操作。这种场景如果调用写入 API 进行处理,极有可能会给 Re...

Flink sql 集成hive metastore-测试

Flink sql 集成hive metastore-测试

FQA1、如何不使用catalog命令,默认进入hive catalog在sql-client-defaults.yaml中添加以下配置2、如何使用mysql使用./bin/sql-client.sh...

CDP实操--配置Ranger Kafka Policy(六)

CDP实操--配置Ranger Kafka Policy(六)

1.在 Cloudera Manager 中,导航到Kafka > Configuration。2.将SSL 客户端身份验证设置为none.3.将代理间协议设置为 SASL_PLAINTEXT。...

理解YAML文件

YAML 基础它的基本语法规则如下:大小写敏感使用缩进表示层级关系缩进时不允许使用Tab键,只允许使用空格。缩进的空格数目不重要,只要相同层级的元素左侧对齐即可# 表示注释,从这个字符一直到行尾,都会...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。