kubernetes openelb

辰星4个月前技术文章126

1、背景

在云服务环境中的 Kubernetes 集群里,通常可以用云服务提供商提供的负载均衡服务来暴露 Service,但是在本地没办法这样操作。而 OpenELB 可以让用户在裸金属服务器、边缘以及虚拟化环境中创建 LoadBalancer 类型的 Service 来暴露服务,并且可以做到和云环境中的用户体验是一致的。

OpenELB 是一个开源的云原生负载均衡器实现,可以在基于裸金属服务器、边缘以及虚拟化的 Kubernetes 环境中使用 LoadBalancer 类型的 Service 对外暴露服务。


OpenELB 项目最初由 KubeSphere 社区 发起,目前已作为 CNCF 沙箱项目 加入 CNCF 基金会,由 OpenELB 开源社区维护与支持。


2、操作前了解相关配置和要求

  1. 了解 NodePort、LoadBalancer、Ingress。那么它们到底有什么不同,要如何正确地使用这些组件?

  2. 了解 OpenELB 的核心功能

    1. BGP 模式和二层网络模式下的负载均衡

    2. ECMP 路由和负载均衡

    3. IP 池管理

    4. 基于 CRD 来管理 BGP 配置

    5. 支持 Helm Chart 方式安装

  1. 了解 OpenELB 工作模式(Layer2、BGP、VIP)


2、操作步骤


2.1 使用 kubectl 安装/删除


"安装"
wget https://raw.githubusercontent.com/openelb/openelb/master/deploy/openelb.yaml
kubectl apply -f openelb.yaml

"查看"
kubectl get pod -n openelb-system

"删除"
kubectl delete -f openelb.yaml


注意: 在删除 OpenELB 之前,必须先删除所有使用 OpenELB 的服务


2.2 使用 helm 安装/删除


"安装"
helm repo add test https://charts.kubesphere.io/test
helm repo update
helm pull test/openelb
helm install openelb . -f values.yaml -n openelb

"查看"
kubectl get pods -n openelb

"删除"
helm delete openelb


2.3 实战


2.3.1 Layer2 示例


前提:


"查看kube-proxy中的strictARP配置"
$ kubectl get configmap -n kube-system kube-proxy -o yaml | grep strictARP
      strictARP: false

"手动修改strictARP配置为true"
$ kubectl edit configmap -n kube-system kube-proxy
configmap/kube-proxy edited

"重启kube-proxy确保配置生效"
$ kubectl rollout restart ds kube-proxy -n kube-system

"确认配置生效"
$ kubectl get configmap -n kube-system kube-proxy -o yaml | grep strictARP
      strictARP: true


创建 Eip 对象:


$ cat layer2-eip.yaml
apiVersion: network.kubesphere.io/v1alpha2
kind: Eip
metadata:
  name: layer2-eip
spec:
  address: 172.16.107.201-172.16.107.206  # Eip必须为Node相同网段但是未使用的IP地址池
  interface: enp1s0
  protocol: layer2

$ kubectl apply -f layer2-eip.yaml 
eip.network.kubesphere.io/layer2-eip created

$ kubectl get eip
NAME         CIDR                            USAGE   TOTAL
layer2-eip   172.16.107.201-172.16.107.206           6


创建测试服务:


apiVersion: apps/v1
kind: Deployment
metadata:
  name: myapp-lb
  namespace: qingyun
spec:
  selector:
    matchLabels:
      app: myapp-lb
  replicas: 1
  template:
    metadata:
      labels:
        app: myapp-lb
    spec:
      containers:
      - name: myapp-lb
        image: zhangyyhub/myapp:v1.0
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 80

---

apiVersion: v1
kind: Service
metadata:
  name: myapp-lb-service
  namespace: qingyun
  annotations:
    lb.kubesphere.io/v1alpha1: openelb               # 指定Service使用OpenELB
    protocol.openelb.kubesphere.io/v1alpha1: layer2  # 指定OpenELB使用第2层模式
    eip.openelb.kubesphere.io/v1alpha2: layer2-eip   # 指定OpenELB使用的Eip对象
spec:
  selector:
    app: myapp-lb
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80
  type: LoadBalancer
  externalTrafficPolicy: Cluster
  # Cluster: OpenELB从所有Kubernetes集群节点中随机选择一个节点来处理Service请求。也可以通过kube-proxy访问其他节点上的Pod。
  # Local: OpenELB会在Kubernetes集群中随机选择一个包含Pod的节点来处理Service请求。只能访问选定节点上的Pod。
  
  # 使用 loadBalancerIP 字段从而指定VIP
  # loadBalancerIP: 10.31.88.113


"部署"
$ kubectl apply -f myapp-layer2-lb.yaml 
deployment.apps/myapp-lb created
service/myapp-lb-service created

"查看pod&service"
$ kubectl get pod,svc -n qingyun
NAME                           READY   STATUS    RESTARTS   AGE
pod/myapp-lb-cf589d555-zcf8p   1/1     Running   0          32s

NAME                       TYPE           CLUSTER-IP    EXTERNAL-IP      PORT(S)        AGE
service/myapp-lb-service   LoadBalancer   10.102.62.4   172.16.107.201   80:30591/TCP   32s

$ ip neigh | grep "172.16.107.201"
172.16.107.201 dev enp1s0  FAILED
$ arp -a | grep "172.16.107.201"
master (172.16.107.201) at <incomplete> on enp1s0


验证测试服务:


$ curl http://172.16.107.201
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>


2.3.2 BGP 示例


要使用 BGP 模式,您的路由器必须支持 BGP 和等价多路径(ECMP)路由。

3、注意事项


如果你的 kubernets 集群是在云上的,可以测试 layer2 模式,但最好还是使用云服务商提供的 Cloud LoadBalancer plugin。OpenELB 是为非云上的集群提供服务的。

4、结果检查


OpenELB 各模式下进行分别验证流量。


相关文章

借助cwRsync工具迁移

借助cwRsync工具迁移

服务端安装服务端软件如下,会自动在系统内创建一个系统用户,用户名为:xxx  ,密码为:xxx查看系统用户,会发现自动创建了如下用户:修改配置文件:rsyncd.confuse chroot = fa...

ES运维(五)聚合分析流程及精准度

ES运维(五)聚合分析流程及精准度

1、 概述ES是一个近实时的搜索引擎,提供近实时海量数据的聚合分析功能,但这个海量数据聚合分析是会损失一定的精准度来满足实时性能需要的。 2、 分布式系统的近似统计算法如下图,在分布式数据分...

ES运维(六)_segment合并使用原理及场景

ES运维(六)_segment合并使用原理及场景

一、背景简介ES中,每个index(索引)都包含若干个Shard(分片),每个分片底层又是一个个Segment文件(段),每次数据的读写底层就是与一个个段文件的交互,因此ES调优常用的一块就是对段文件...

MySQL 8.0 新特性:invisible indexes

MySQL 8.0 新特性:invisible indexes

一、前言什么是 invisible indexes 呢?就是不可见索引,优化器会默认忽略的索引,关于这个特性的用处,需要我们一起挖掘。二、案例思考某客户研发提了一条删除索引的 SQL,这张表 15G,...

Greenplum数据库建立外部表加载HDFS文件实践指导

Greenplum数据库建立外部表加载HDFS文件实践指导

环境概述(1)     Greenplum数据库版本号Greenplum Database 4.3.0.0POC3 build 45206(基于PostgreS...

企业级大数据安全架构(五)

企业级大数据安全架构(五)

本章节介绍安全架构里面一个重要组件Knox安装,我们是通过ambari安装,如果安装开源Knox可参考官网文档1 ambari页面add service2勾选Knox安装点击NEXT3选择安装knox...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。