跳转至

Overlay 下路由方式网络打通

在一些场景下,网络环境不支持 Underlay 模式,但是依然需要 Pod 能和外部设施直接通过 IP 进行互访, 这时候可以使用路由方式将容器网络和外部联通。

路由模式只支持默认 VPC 下的 Overlay 网络和外部打通,在这种情况下,Pod IP 会直接进入底层网络,底层网络需要放开关于源地址和目地址的 IP 检查。

前提条件

  • 此模式下,主机需要开放 ip_forward
  • 检查主机 iptables 规则中是否在 forward 链中是否有 Drop 规则,需要放行容器相关流量。
  • 由于可能存在非对称路由的情况,主机需放行 ct 状态为 INVALID 的数据包。

设置步骤

对于需要对外直接路由的子网,需要将子网的 natOutgoing 设置为 false,关闭 nat 映射,使得 Pod IP 可以直接进入外部网络。

apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: routed
spec:
  protocol: IPv4
  cidrBlock: 10.166.0.0/16
  default: false
  excludeIps:
  - 10.166.0.1
  gateway: 10.166.0.1
  gatewayType: distributed
  natOutgoing: false

此时,Pod 的数据包可以通过主机路由到达对端节点,但是对端节点还不知道回程数据包应该发送到哪里,需要添加回程路由。

如果对端主机和容器所在宿主机在同一个二层网络,我们可以直接在对端主机添加静态路由将容器网络的下一跳指向 Kubernetes 集群内的任意一台机器。

ip route add 10.166.0.0/16 via 192.168.2.10 dev eth0

10.166.0.0/16 为容器子网网段,192.168.2.10 为 Kubernetes 集群内任意一个节点。

若对端主机和容器所在宿主机不在同一个二层网络,则需要在路由器上配置相应的规则,通过路由器进行打通。

注意: 指定某个节点 IP 存在单点故障的可能,如果希望做到快速的故障切换可以通过 Keepalived 给多个节点设置 VIP,同时将路由的下一跳指向 VIP。

在一些虚拟化环境中,虚拟网络会将非对称流量识别为非法流量并丢弃。 此时需要将 Subnet 的 gatewayType 调整为 centralized,并在路由设置时将下一跳设置为 gatewayNode 节点的 IP。

apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: routed
spec:
  protocol: IPv4
  cidrBlock: 10.166.0.0/16
  default: false
  excludeIps:
  - 10.166.0.1
  gateway: 10.166.0.1
  gatewayType: centralized
  gatewayNode: "node1"
  natOutgoing: false

如果对于部分流量(如访问外网的流量)仍然希望进行 nat 处理,请参考默认 VPC NAT 策略规则

微信群 Slack Twitter Support Meeting

评论