Anthos clusters on bare metal は、ベアメタル向け Google Distributed Cloud（ソフトウェアのみ）になりました。詳細については、プロダクトの概要をご覧ください。

BGP をサポートするフラットモードネットワークモデルを実装する

このドキュメントでは、Border Gateway Protocol（BGP）をサポートするフラットモードのネットワークモデルを実装する方法について説明します。BGP をサポートするネットワークモデルを実装すると、異なるレイヤ 2 ドメインの Pod が BGP によって自動的に相互に通信できるようになります。BGP を使用したフラットモードのネットワーキングは、動的フラット IP と呼ばれることもあります。

フラットモードネットワークモデルの詳細については、フラットモードとアイランドモードのネットワークモデルをご覧ください。

BGP を使用するフラットモードネットワークを実装する方法

BGP を使用したフラットモードネットワーキングは、新しいクラスタを作成すると有効になります。既存のクラスタでこの機能を有効にすることはできません。この機能を有効にすると、一部の設定を変更できます。

BGP をサポートするフラットモードネットワークモデルでクラスタを実装するには:

クラスタ構成ファイルを編集します。
- spec.clusterNetwork.advancedNetworking フィールドを true に設定します。
- IPv4 でフラットモードネットワーキングを有効にするには、spec.clusterNetwork.flatIPv4 フィールドを true に設定します。
  
  代替手法については、デュアルスタッククラスタ（IPv4 アイランド、IPv6 動的フラット IP）をご覧ください。IPv6 専用のフラットモードネットワーキングによるクラスタ構成について示しています。
```
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: bm
  namespace: cluster-bm
spec:
  type: user
  ...
  clusterNetwork:
    advancedNetworking: true
    flatIPv4: true
  ...
```
spec.clusterNetwork.flatIPv4 が true に設定されている場合、フィールド spec.clusterNetwork.pods.cidrBlocks は無視されるので省略できます。ただし、クラスタ構成ファイルに ClusterCIDRConfigs マニフェストを追加する必要があります（ノードごと、ノードプールごと、クラスタごと）。
NetworkGatewayGroup マニフェストをクラスタ構成ファイルに追加します。

BGP ピアリングに使用するフローティング IP を指定します。リソース名が default であり、名前空間がクラスタの名前空間であることを確認します。
```
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
metadata:
  name: default
  namespace: cluster-bm
spec:
  floatingIPs:
  - 10.0.1.100
  - 10.0.2.100
```
NetworkGatewayGroup カスタムリソースは、1 つ以上のフローティング IP アドレスのリストを管理します。BGP ピアリングセッションは、NetworkGatewayGroup カスタムリソースで指定したフローティング IP アドレスから開始されます。
FlatIPMode マニフェストをクラスタ構成ファイルに追加します。

FlatIPMode リソースの名前は default であり、名前空間はクラスタの名前空間であることが必要です。peerSelector の値 flatip-peer: "true" は、BGP ピアオブジェクト bgppeer1 と bgppeer2（次のステップで定義）のラベルと一致するため、両方のピアがフラットモードネットワーキングに使用されます。

次の FlatIPMode マニフェストは、BGP を使用した IPv4 シングルスタックフラットモードネットワーキング用です。その他の構成については、構成例をご覧ください。
```
---
apiVersion: baremetal.cluster.gke.io/v1alpha1
kind: FlatIPMode
metadata:
  name: default
  namespace: cluster-bm
spec:
  enableBGPIPv4: true
  enableBGPIPv6: false
  peerSelector:
    flatip-peer: "true"
```

1 つ以上の BGPPeer マニフェストをクラスタ構成ファイルに追加します。

リソースの名前は任意ですが、すべての BGPPeer リソースをクラスタの名前空間に含める必要があります。

---
apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer1
  namespace: cluster-bm
  labels:
    flatip-peer: "true"
spec:
  localASN: 65001
  peerASN: 65000
  peerIP: 10.0.1.254
  sessions: 2
---
apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer2
  namespace: cluster-bm
  labels:
    flatip-peer: "true"
spec:
  localASN: 65001
  peerASN: 65000
  peerIP: 10.0.2.254
  sessions: 2

ClusterCIDRConfig マニフェストをクラスタ構成ファイルに追加します。

CusterCIDRConfig リソースも、クラスタの名前空間に存在する必要があります。
```
apiVersion: baremetal.cluster.gke.io/v1alpha1
kind: ClusterCIDRConfig
metadata:
  name: cluster-wide-1
  namespace: cluster-bm
spec:
  ipv4:
    cidr: "192.168.0.0/16"
    perNodeMaskSize: 24
```
ClusterCIDRConfig は、ノードに動的に割り振られる Pod の CIDR 範囲を指定するカスタムリソースです。CNI は、ノードに割り振られた Pod CIDR 範囲を使用して、ノードで実行されている個々の Pod に IP アドレスを割り当てます。ClusterCIDRConfig は、デュアルスタックネットワーキングにも使用されます。ClusterCIDRConfig カスタムリソースの詳細（使用例など）については、ClusterCIDRConfig カスタムリソースについてをご覧ください。
クラスタを作成します。
```
bmctl create cluster
```
クラスタ作成の詳細については、クラスタの作成の概要をご覧ください。

環境がマルチプロトコル BGP（MP-BGP）をサポートしている場合、IPv4 セッションで IPv4 ルートおよび IPv6 ルートをアドバタイズできます。MP-BGP を使用する例を含む、さまざまな構成の例については、構成例をご覧ください。

BGP ベースのフラットモードネットワーキング構成を変更する

BGP を使用してフラットモードネットワークモデルを使用するように構成されたクラスタを作成したら、一部の構成設定を更新できます。BGP 関連リソース（NetworkGatewayGroup、FlatIPMode、BGPPeer）を後で更新する場合は、管理クラスタの kubeconfig ファイルを使用します。その後、管理クラスタによって、ユーザークラスタに変更が反映されます。これらのリソースをユーザークラスタで直接編集すると、管理クラスタが後続の調整での変更を上書きします。

構成例

以下の各セクションでは、BGP を使用したフラットモードネットワークモデルのさまざまなバリエーションのクラスタ構成例について説明します。サンプル構成ファイルは完成していません。BGP を使用したフラットモードネットワーキングに関連しないクラスタ設定のほとんどは省略されています。

シングルスタック IPv4 クラスタ

次のクラスタ構成ファイルのサンプルは、BGP を使用したフラットモードネットワーキングでシングルスタック IPv4 クラスタを構成するための設定を示しています。

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: bm
  namespace: cluster-bm
spec:
  ...
  clusterNetwork:
    advancedNetworking: true
    flatIPv4: true
    services:
      cidrBlocks:
      - 10.96.0.0/12
  ...
---
apiVersion: baremetal.cluster.gke.io/v1alpha1
kind: ClusterCIDRConfig          
metadata:
  name: cluster-wide-1
  namespace: cluster-bm          # Must match the cluster namespace
spec:
  ipv4:
    cidr: "222.2.0.0/16"
    perNodeMaskSize: 24
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
metadata:
  name: default
  namespace: cluster-bm           # Must match the cluster namespace
spec:
  floatingIPs:
  - 10.0.1.100
  - 10.0.3.100
---
apiVersion: baremetal.cluster.gke.io/v1alpha1
kind: FlatIPMode
metadata:
  name: default
  namespace: cluster-bm            # Must match the cluster namespace
spec:
  enableBGPIPv4: true
  enableBGPIPv6: false
  peerSelector:
    flatipmode-peer: "true"
---
apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer1
  namespace: cluster-bm            # Must match the cluster namespace
  labels:
    flatipmode-peer: "true"
spec:
  localASN: 65001
  peerASN: 65002
  peerIP: 10.0.1.254
  sessions: 2
---
apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer2
  namespace: cluster-bm            # Must match the cluster namespace
  labels:
    flatipmode-peer: "true"
spec:
  localASN: 65001
  peerASN: 65002
  peerIP: 10.0.3.254
  sessions: 2

デュアルスタッククラスタ（IPv4 アイランド、IPv6 動的フラット IP）

次のクラスタ構成ファイルのサンプルは、IPv6 専用の BGP でフラットモードネットワーキングを使用してデュアルスタック（IPv4 / IPv6）クラスタを構成する設定を示しています。

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: bm
  namespace: cluster-bm
spec:
  ...
  clusterNetwork:
    advancedNetworking: true
    flatIPv4: false
    pods:
      cidrBlocks:
      - 192.168.0.0/16
    services:
      cidrBlocks:
      - 10.96.0.0/12
      # Additional IPv6 CIDR block determines if the cluster is dual-stack
      - 2620:0:1000:2630:5:2::/112
  ... 
---
apiVersion: baremetal.cluster.gke.io/v1alpha1
kind: ClusterCIDRConfig          
metadata:
  name: cluster-wide-1
  namespace: cluster-bm          # Must match the cluster namespace
spec:
  ipv4:
    cidr: "192.168.0.0/16"
    perNodeMaskSize: 24
  ipv6:
    cidr: "2222:3::/112"
    perNodeMaskSize: 120
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
metadata:
  name: default
  namespace: cluster-bm           # Must match the cluster namespace
spec:
  floatingIPs:
  - 10.0.1.100
  - 10.0.3.100
---
apiVersion: baremetal.cluster.gke.io/v1alpha1
kind: FlatIPMode
metadata:
  name: default
  namespace: cluster-bm            # Must match the cluster namespace
spec:
  enableBGPIPv4: false
  enableBGPIPv6: true
  peerSelector:
    flatipmode-peer: "true"
---
apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer1
  namespace: cluster-bm            # Must match the cluster namespace
  labels:
    flatipmode-peer: "true"
spec:
  localASN: 65001
  peerASN: 65002
  peerIP: 10.0.1.254
  sessions: 2
---
apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer2
  namespace: cluster-bm            # Must match the cluster namespace
  labels:
    flatipmode-peer: "true"
spec:
  localASN: 65001
  peerASN: 65002
  peerIP: 10.0.3.254
  sessions: 2

デュアルスタッククラスタ（IPv4 動的フラット IP、IPv6 動的フラット IP）

次のクラスタ構成ファイルのサンプルは、BGP を使用したフラットモードネットワーキングでデュアルスタッククラスタを構成するための設定を示しています。

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: bm
  namespace: cluster-bm
spec:
  ...
  clusterNetwork:
    advancedNetworking: true
    flatIPv4: true
    pods:
      cidrBlocks:
      - 192.168.0.0/16
    services:
      cidrBlocks:
      - 10.96.0.0/12
      # Additional IPv6 CIDR block determines if the cluster is dual-stack
      - 2620:0:1000:2630:5:2::/112
  ... 
---
apiVersion: baremetal.cluster.gke.io/v1alpha1
kind: ClusterCIDRConfig          
metadata:
  name: cluster-wide-1
  namespace: cluster-bm          # Must match the cluster namespace
spec:
  ipv4:
    cidr: "222.2.0.0/16"
    perNodeMaskSize: 24
  ipv6:
    cidr: "2222:3::/112"
    perNodeMaskSize: 120
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
metadata:
  name: default
  namespace: cluster-bm           # Must match the cluster namespace
spec:
  floatingIPs:
  - 10.0.1.100
  - 10.0.3.100
---
apiVersion: baremetal.cluster.gke.io/v1alpha1
kind: FlatIPMode
metadata:
  name: default
  namespace: cluster-bm            # Must match the cluster namespace
spec:
  enableBGPIPv4: true
  enableBGPIPv6: true
  peerSelector:
    flatipmode-peer: "true"
---
apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer1
  namespace: cluster-bm            # Must match the cluster namespace
  labels:
    flatipmode-peer: "true"
spec:
  localASN: 65001
  peerASN: 65002
  peerIP: 10.0.1.254
  sessions: 2
---
apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer2
  namespace: cluster-bm            # Must match the cluster namespace
  labels:
    flatipmode-peer: "true"
spec:
  localASN: 65001
  peerASN: 65002
  peerIP: 10.0.3.254
  sessions: 2

トラブルシューティング

BGP を使用したフラットモードのネットワークに関連する問題のトラブルシューティングに役立つように、このセクションでは構成を確認する手順を説明します。

管理クラスタのクラスタ名前空間に FlatIPModes オブジェクトが作成されているかどうかを確認します。
```
kubectl get flatipmodes -A --kubeconfig ADMIN_KUBECONFIG
```
次のようなレスポンスが表示されます。
```
NAMESPACE                 NAME      AGE
cluster-bm                default   2d17h
```
ユーザークラスタに flatipmodes.networking.gke.io オブジェクトが作成されているかどうかを確認します。

flatipmodes.networking.gke.io オブジェクトはクラスタスコープです。
```
kubectl get flatipmodes.networking.gke.io --kubeconfig USER_KUBECONFIG
```
次のようなレスポンスが表示されます。
```
NAME      AGE
default   2d17h
```

BGPSessions リソースを取得して、現在のセッションを表示します。

kubectl get bgpsessions -A --kubeconfig USER_KUBECONFIG

次のようなレスポンスが表示されます。

NAMESPACE     NAME                LOCAL ASN   PEER ASN   LOCAL IP       PEER IP        STATE            LAST REPORT
kube-system   10.0.1.254-node-01  65500       65000      10.0.1.100     10.0.1.254     Established      2s
kube-system   10.0.1.254-node-02  65500       65000      10.0.3.100     10.0.1.254     NotEstablished   2s
kube-system   10.0.3.254-node-01  65500       65000      10.0.1.100     10.0.3.254     NotEstablished   2s
kube-system   10.0.3.254-node-02  65500       65000      10.0.3.100     10.0.3.254     Established      2s

BGPAdvertisedRoute リソースを取得して、現在アドバタイズされているルートを確認します。
```
kubectl get bgpadvertisedroutes -A --kubeconfig USER_KUBECONFIG
```
レスポンスは次のようになります。
```
NAMESPACE     NAME                     PREFIX         METRIC
kube-system   route-via-222-22-208-240   222.2.0.0/24   
kube-system   route-via-222-22-209-240   222.2.1.0/24   
```
ルート名はネクストホップを示します。たとえば、前のレスポンス例の route-via-222-22-208-240 は、アドバタイズされたプレフィックス 222.2.0.0/24 のネクストホップが 222.22.208.240 であることを示しています。

BGP をサポートするフラットモード ネットワーク モデルを実装する

BGP を使用するフラットモード ネットワークを実装する方法

BGP ベースのフラットモード ネットワーキング構成を変更する

構成例