跳转至

Overlay 下路由方式网络打通

在一些场景下，网络环境不支持 Underlay 模式，但是依然需要 Pod 能和外部设施直接通过 IP 进行互访， 这时候可以使用路由方式将容器网络和外部联通。

路由模式只支持默认 VPC 下的 Overlay 网络和外部打通，在这种情况下，Pod IP 会直接进入底层网络，底层网络需要放开关于源地址和目地址的 IP 检查。

前提条件

  • 此模式下，主机需要开放 ip_forward。
  • 检查主机 iptables 规则中是否在 forward 链中是否有 Drop 规则，需要放行容器相关流量。
  • 由于可能存在非对称路由的情况，主机需放行 ct 状态为 INVALID 的数据包。

设置步骤

对于需要对外直接路由的子网，需要将子网的 natOutgoing 设置为 false，关闭 nat 映射，使得 Pod IP 可以直接进入外部网络。

apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: routed
spec:
  protocol: IPv4
  cidrBlock: 10.166.0.0/16
  default: false
  excludeIps:
  - 10.166.0.1
  gateway: 10.166.0.1
  gatewayType: distributed
  natOutgoing: false

此时，Pod 的数据包可以通过主机路由到达对端节点，但是对端节点还不知道回程数据包应该发送到哪里，需要添加回程路由。

如果对端主机和容器所在宿主机在同一个二层网络，我们可以直接在对端主机添加静态路由将容器网络的下一跳指向 Kubernetes 集群内的任意一台机器。

ip route add 10.166.0.0/16 via 192.168.2.10 dev eth0

10.166.0.0/16 为容器子网网段，192.168.2.10 为 Kubernetes 集群内任意一个节点。

若对端主机和容器所在宿主机不在同一个二层网络，则需要在路由器上配置相应的规则，通过路由器进行打通。

注意： 指定某个节点 IP 存在单点故障的可能，如果希望做到快速的故障切换可以通过 Keepalived 给多个节点设置 VIP，同时将路由的下一跳指向 VIP。

在一些虚拟化环境中，虚拟网络会将非对称流量识别为非法流量并丢弃。 此时需要将 Subnet 的 gatewayType 调整为 centralized，并在路由设置时将下一跳设置为 gatewayNode 节点的 IP。

apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: routed
spec:
  protocol: IPv4
  cidrBlock: 10.166.0.0/16
  default: false
  excludeIps:
  - 10.166.0.1
  gateway: 10.166.0.1
  gatewayType: centralized
  gatewayNode: "node1"
  natOutgoing: false

如果对于部分流量（如访问外网的流量）仍然希望进行 nat 处理，请参考默认 VPC NAT 策略规则。

微信群 Slack Twitter Support Meeting

评论