このページでは、VPC ネイティブ クラスタの一種であるプライベート Google Kubernetes Engine（GKE）クラスタを作成する方法について説明します。限定公開クラスタでは、ノードに内部 IP アドレスしかないため、ノードと Pod がデフォルトでインターネットから隔離されます。コントロール プレーンへのクライアント アクセスは、禁止、制限、または無制限に設定できます。
制限事項
限定公開クラスタは、VPC ネイティブ クラスタである必要があります。VPC ネイティブ クラスタは、レガシー ネットワークをサポートしていません。
限定公開クラスタを作成する際の IP アドレス範囲とトラフィックに関するルールを表示するには、次のセクションを開きます。
始める前に
始める前に、次の作業が完了していることを確認してください。
- Google Kubernetes Engine API を有効にする。 Google Kubernetes Engine API の有効化
- このタスクに Google Cloud CLI を使用する場合は、gcloud CLI をインストールして初期化する。すでに gcloud CLI をインストールしている場合は、
gcloud components updateを実行して最新のバージョンを取得する。
クラスタを作成するための適切な権限があることを確認します。少なくとも、Kubernetes Engine Cluster 管理者である必要があります。
デフォルト インターネット ゲートウェイへのルートがあることを確認します。
パブリック エンドポイントへのクライアント アクセス権のない限定公開クラスタの作成
このセクションでは、次のリソースを作成します。
private-cluster-0という名前の限定公開クラスタ。このクラスタには限定公開ノードはありますが、パブリック エンドポイントへのクライアント アクセス権はありません。my-net-0という名前のネットワーク。my-subnet-0という名前のサブネット。
コンソール
ネットワークとサブネットを作成する
Google Cloud コンソールで [VPC ネットワーク] ページに移動します。
[add_box VPC ネットワークを作成] をクリックします。
[名前] に「
my-net-0」と入力します。[サブネット作成モード] で [カスタム] を選択します。
[新しいサブネット] セクションの [名前] に「
my-subnet-0」を入力します。[リージョン] リストで、目的のリージョンを選択します。
[IP アドレス範囲] に「
10.2.204.0/22」と入力します。[限定公開の Google アクセス] を [オン] に設定します。
[完了] をクリックします。
[作成] をクリックします。
限定公開クラスタを作成する
Google Cloud コンソールで Google Kubernetes Engine のページに移動します。
[ 作成] をクリックし、[Standard] セクションまたは [Autopilot] セクションで [構成] をクリックします。
[名前] に
private-cluster-0を指定します。ナビゲーション パネルで [ネットワーキング] をクリックします。
[ネットワーク] リストで [my-net-0] を選択します。
[ノードのサブネット] リストで [my-subnet-0] を選択します。
[限定公開クラスタ] をオンにします。
[外部 IP アドレスを使用してコントロール プレーンにアクセス] チェックボックスをオフにします。
（Autopilot の場合は省略可）: [コントロール プレーンの IP 範囲] を
172.16.0.32/28に設定します。[作成] をクリックします。
gcloud
Autopilot クラスタの場合は、次のコマンドを実行します。
gcloud container clusters create-auto private-cluster-0 \ --create-subnetwork name=my-subnet-0 \ --enable-master-authorized-networks \ --enable-private-nodes \ --enable-private-endpoint
Standard クラスタの場合は、次のコマンドを実行します。
gcloud container clusters create private-cluster-0 \ --create-subnetwork name=my-subnet-0 \ --enable-master-authorized-networks \ --enable-ip-alias \ --enable-private-nodes \ --enable-private-endpoint \ --master-ipv4-cidr 172.16.0.32/28
ここで
--create-subnetwork name=my-subnet-0を指定すると、GKE によってmy-subnet-0という名前のサブネットが自動的に作成されます。--enable-master-authorized-networksを指定すると、パブリック エンドポイントへのアクセスが承認された IP アドレス範囲に制限されます。
--enable-ip-aliasは、クラスタを VPC ネイティブにします（Autopilot の場合は不要）。
--enable-private-nodesは、クラスタのノードに外部 IP アドレスがないことを示します。--enable-private-endpointは、クラスタがコントロール プレーン API エンドポイントの内部 IP アドレスを使用して管理されていることを示します。
--master-ipv4-cidr 172.16.0.32/28は、コントロール プレーンの内部 IP アドレス範囲を指定します（Autopilot の場合は任意）。この設定はこのクラスタでは永続的であり、VPC 内で一意であることが必要です。RFC 1918 以外の内部 IP アドレスの使用がサポートされています。
API
公開アクセス可能なコントロール プレーンなしでクラスタを作成するには、privateClusterConfig リソースの enablePrivateEndpoint: true フィールドを指定します。
この時点では、コントロール プレーンにアクセスできる唯一の IP アドレスです。
my-subnet-0のプライマリ範囲。- Pod に使用されるセカンダリ範囲。
たとえば、my-subnet-0 のプライマリ範囲に VM を作成したとします。その VM で、コントロール プレーンの内部 IP アドレスを使用するように kubectl を構成できます。
my-subnet-0 の外部からコントロール プレーンにアクセスする場合は、プライベート エンドポイントにアクセスするために少なくとも 1 つのアドレス範囲を承認する必要があります。
デフォルト ネットワーク内の VM が、クラスタと同じリージョンで my-subnet-0 とは別のサブネットにあるとします。
例:
my-subnet-0:10.0.0.0/22- Pod のセカンダリ範囲:
10.52.0.0/14 - VM のアドレス:
10.128.0.3
VM にコントロール プレーンへのアクセスを承認するには、次のコマンドを使用します。
gcloud container clusters update private-cluster-0 \
--enable-master-authorized-networks \
--master-authorized-networks 10.128.0.3/32
パブリック エンドポイントへのアクセスが制限された限定公開クラスタの作成
この構成を使用して限定公開クラスタを作成すると、自動生成されたサブネットまたはカスタム サブネットを使用できます。
自動生成されたサブネットの使用
このセクションでは、private-cluster-1 という名前の限定公開クラスタを作成します。GKE は、このクラスタにクラスタノードのサブネットを自動的に生成します。サブネットでは、限定公開の Google アクセスが有効になっています。サブネット内で、GKE は Pod 用と Service 用の 2 つのセカンダリ範囲を自動的に作成します。
Google Cloud CLI または GKE API を使用できます。
gcloud
Autopilot クラスタの場合は、次のコマンドを実行します。
gcloud container clusters create-auto private-cluster-1 \ --create-subnetwork name=my-subnet-1 \ --enable-master-authorized-networks \ --enable-private-nodes
Standard クラスタの場合は、次のコマンドを実行します。
gcloud container clusters create private-cluster-1 \ --create-subnetwork name=my-subnet-1 \ --enable-master-authorized-networks \ --enable-ip-alias \ --enable-private-nodes \ --master-ipv4-cidr 172.16.0.0/28
ここで
--create-subnetwork name=my-subnet-1を指定すると、GKE によってmy-subnet-1という名前のサブネットが自動的に作成されます。--enable-master-authorized-networksを指定すると、パブリック エンドポイントへのアクセスが承認された IP アドレス範囲に制限されます。
--enable-ip-aliasは、クラスタを VPC ネイティブにします（Autopilot の場合は不要）。
--enable-private-nodesは、クラスタのノードに外部 IP アドレスがないことを示します。
--master-ipv4-cidr 172.16.0.0/28は、コントロール プレーンの内部 IP アドレス範囲を指定します（Autopilot の場合は任意）。この設定はこのクラスタでは永続的であり、VPC 内で一意であることが必要です。RFC 1918 以外の内部 IP アドレスの使用がサポートされています。
API
Cluster API リソースの privateClusterConfig フィールドを指定します。
{
"name": "private-cluster-1",
...
"ipAllocationPolicy": {
"createSubnetwork": true,
},
...
"privateClusterConfig" {
"enablePrivateNodes": boolean # Creates nodes with internal IP addresses only
"enablePrivateEndpoint": boolean # false creates a cluster control plane with a publicly-reachable endpoint
"masterIpv4CidrBlock": string # CIDR block for the cluster control plane
"privateEndpoint": string # Output only
"publicEndpoint": string # Output only
}
}
この時点で、クラスタ コントロール プレーンにアクセスできる IP アドレスは次のものに限られます。
my-subnet-1のプライマリ範囲。- Pod に使用されるセカンダリ範囲。
VPC ネットワークの外に、203.0.113.0/29 の範囲のアドレスを持つマシンのグループがあるとします。これらのマシンのパブリック エンドポイントへのアクセスを承認するには、次のコマンドを入力します。
gcloud container clusters update private-cluster-1 \
--enable-master-authorized-networks \
--master-authorized-networks 203.0.113.0/29
コントロール プレーンにアクセスできる唯一の IP アドレスは次のとおりです。
my-subnet-1のプライマリ範囲。- Pod に使用されるセカンダリ範囲。
- 承認したアドレス範囲（
203.0.113.0/29など）。
カスタム サブネットの使用
このセクションでは、次のリソースを作成します。
private-cluster-2という名前の限定公開クラスタ。my-net-2という名前のネットワーク。- クラスタノード用の、プライマリ範囲が
192.168.0.0/20のmy-subnet-2という名前のサブネット。サブネットには、次のセカンダリ アドレス範囲があります。- Pod の IP アドレスには
my-podsを指定します。 - Service の IP アドレスには
my-servicesを指定します。
- Pod の IP アドレスには
コンソール
ネットワーク、サブネット、セカンダリ範囲の作成
Google Cloud コンソールで [VPC ネットワーク] ページに移動します。
[add_box VPC ネットワークを作成] をクリックします。
[名前] に「
my-net-2」と入力します。[サブネット作成モード] で [カスタム] を選択します。
[新しいサブネット] セクションの [名前] に「
my-subnet-2」を入力します。[リージョン] リストで、目的のリージョンを選択します。
[IP アドレス範囲] に「
192.168.0.0/20」と入力します。[セカンダリ IP 範囲を作成する] をクリックします。[サブネット範囲の名前] に「
my-services」と入力し、[セカンダリ IP の範囲] に「10.0.32.0/20」と入力します。[IP の範囲を追加] をクリックします。[サブネット範囲の名前] に「
my-pods」と入力し、[セカンダリ IP の範囲] に「10.4.0.0/14」と入力します。[限定公開の Google アクセス] を [オン] に設定します。
[完了] をクリックします。
[作成] をクリックします。
限定公開クラスタを作成する
サブネットを使用する限定公開クラスタを作成します。
Google Cloud コンソールで Google Kubernetes Engine のページに移動します。
[ 作成] をクリックし、[Standard] セクションまたは [Autopilot] セクションで [構成] をクリックします。
[名前] に「
private-cluster-2」と入力します。ナビゲーション パネルで [ネットワーキング] をクリックします。
[限定公開クラスタ] をオンにします。
承認済みの外部 IP 範囲からアクセス可能なコントロール プレーンを作成するには、[外部 IP アドレスを使用してコントロール プレーンにアクセス] チェックボックスをオンのままにします。
（Autopilot の場合は省略可）[コントロール プレーンの IP 範囲] を
172.16.0.16/28に設定します。[ネットワーク] リストで、[my-net-2] を選択します。
[ノードのサブネット] リストで [my-subnet-2] を選択します。
[セカンダリ範囲を自動的に作成する] チェックボックスをオフにします。
[Pod のセカンダリ CIDR 範囲] リストで [my-pods] を選択します。
[サービスのセカンダリ CIDR 範囲] リストで [my-services] を選択します。
[コントロール プレーン承認済みネットワークを有効にする] チェックボックスをオンにします。
[作成] をクリックします。
gcloud
ネットワークの作成
まず、クラスタ用のネットワークを作成します。次のコマンドによって、ネットワーク my-net-2 が作成されます。
gcloud compute networks create my-net-2 \
--subnet-mode custom
サブネットとセカンダリ範囲の作成
次に、ポッドのセカンダリ範囲を my-pods、サービスのセカンダリ範囲を my-services に設定して、my-net-2 ネットワークに my-subnet-2 サブネットを作成します。
gcloud compute networks subnets create my-subnet-2 \
--network my-net-2 \
--range 192.168.0.0/20 \
--secondary-range my-pods=10.4.0.0/14,my-services=10.0.32.0/20 \
--enable-private-ip-google-access
限定公開クラスタを作成する
作成したネットワーク、サブネット、セカンダリ範囲を使用して、限定公開クラスタ private-cluster-2 を作成します。
Autopilot クラスタの場合は、次のコマンドを実行します。
gcloud container clusters create-auto private-cluster-2 \ --enable-master-authorized-networks \ --network my-net-2 \ --subnetwork my-subnet-2 \ --cluster-secondary-range-name my-pods \ --services-secondary-range-name my-services \ --enable-private-nodes
Standard クラスタの場合は、次のコマンドを実行します。
gcloud container clusters create private-cluster-2 \ --enable-master-authorized-networks \ --network my-net-2 \ --subnetwork my-subnet-2 \ --cluster-secondary-range-name my-pods \ --services-secondary-range-name my-services \ --enable-private-nodes \ --enable-ip-alias \ --master-ipv4-cidr 172.16.0.16/28 \ --no-enable-basic-auth \ --no-issue-client-certificate
この時点では、コントロール プレーンにアクセスできる唯一の IP アドレスです。
my-subnet-2のプライマリ範囲。- セカンダリ範囲
my-pods。
my-net-2 の外に、203.0.113.0/29 の範囲のアドレスを持つマシンのグループがあるとします。これらのマシンのパブリック エンドポイントへのアクセスを承認するには、次のコマンドを入力します。
gcloud container clusters update private-cluster-2 \
--enable-master-authorized-networks \
--master-authorized-networks 203.0.113.0/29
この時点では、コントロール プレーンにアクセスできる唯一の IP アドレスです。
my-subnet-2のプライマリ範囲。- セカンダリ範囲
my-pods。 - 承認したアドレス範囲（
203.0.113.0/29など）。
Cloud Shell を使用した限定公開クラスタへのアクセス
プライベート エンドポイントを有効にしている場合、Cloud Shell で GKE コントロール プレーンにアクセスすることはできません。
Cloud Shell を使用してクラスタにアクセスする場合は、Cloud Shell の外部 IP アドレスをクラスタの承認済みネットワークのリストに追加する必要があります。
手順は次のとおりです。
Cloud Shell のコマンドライン ウィンドウで、
digを使用して Cloud Shell の外部 IP アドレスを検索します。dig +short myip.opendns.com @resolver1.opendns.comCloud Shell の外部アドレスをクラスタの承認済みネットワークのリストに追加します。
gcloud container clusters update CLUSTER_NAME \ --enable-master-authorized-networks \ --master-authorized-networks EXISTING_AUTH_NETS,SHELL_IP/32次のように置き換えます。
CLUSTER_NAME: クラスタの名前。EXISTING_AUTH_NETS: 承認済みネットワークの既存のリストの IP アドレス。Console で、または次のコマンドを実行して、承認済みネットワークを確認できます。gcloud container clusters describe CLUSTER_NAME --format "flattened(masterAuthorizedNetworksConfig.cidrBlocks[])"SHELL_IP: Cloud Shell の外部 IP アドレス。
kubectlを使用してクラスタにアクセスできるように、認証情報を取得します。gcloud container clusters get-credentials CLUSTER_NAME \ --project=PROJECT_ID \ --internal-ipPROJECT_IDは実際のプロジェクト ID に置き換えます。Cloud Shell で
kubectlを使用して、限定公開クラスタにアクセスします。kubectl get nodes出力は次のようになります。
NAME STATUS ROLES AGE VERSION gke-cluster-1-default-pool-7d914212-18jv Ready <none> 104m v1.21.5-gke.1302 gke-cluster-1-default-pool-7d914212-3d9p Ready <none> 104m v1.21.5-gke.1302 gke-cluster-1-default-pool-7d914212-wgqf Ready <none> 104m v1.21.5-gke.1302
パブリック エンドポイントへ無制限にアクセス可能な限定公開クラスタの作成
このセクションでは、任意の IP アドレスでコントロール プレーンにアクセスできる限定公開クラスタを作成します。
コンソール
Google Cloud コンソールで Google Kubernetes Engine のページに移動します。
[ 作成] をクリックし、[Standard] セクションまたは [Autopilot] セクションで [構成] をクリックします。
[名前] に「
private-cluster-3」と入力します。ナビゲーション パネルで [ネットワーキング] をクリックします。
[限定公開クラスタ] オプションを選択します。
[外部 IP アドレスを使用してコントロール プレーンにアクセス] チェックボックスをオンのままにします。
（Autopilot の場合は省略可）[コントロール プレーンの IP 範囲] を
172.16.0.32/28に設定します。[ネットワーク] と [ノードのサブネット] を
defaultに設定したままにします。これにより、GKE によってクラスタのサブネットが生成されます。[コントロール プレーン承認済みネットワークを有効にする] チェックボックスをオフにします。
[作成] をクリックします。
gcloud
Autopilot クラスタの場合は、次のコマンドを実行します。
gcloud container clusters create-auto private-cluster-3 \ --create-subnetwork name=my-subnet-3 \ --no-enable-master-authorized-networks \ --enable-private-nodes
Standard クラスタの場合は、次のコマンドを実行します。
gcloud container clusters create private-cluster-3 \ --create-subnetwork name=my-subnet-3 \ --no-enable-master-authorized-networks \ --enable-ip-alias \ --enable-private-nodes \ --master-ipv4-cidr 172.16.0.32/28
ここで
--create-subnetwork name=my-subnet-3を指定すると、GKE によってmy-subnet-3という名前のサブネットが自動的に作成されます。--no-enable-master-authorized-networksは、クラスタの承認済みネットワークを無効にします。
--enable-ip-aliasは、クラスタを VPC ネイティブにします（Autopilot の場合は不要）。
--enable-private-nodesは、クラスタのノードに外部 IP アドレスがないことを示します。
--master-ipv4-cidr 172.16.0.32/28は、コントロール プレーンの内部 IP アドレス範囲を指定します（Autopilot の場合は任意）。この設定はこのクラスタでは永続的であり、VPC 内で一意であることが必要です。RFC 1918 以外の内部 IP アドレスの使用がサポートされています。
特定のユースケースに対するファイアウォール ルールを追加する
このセクションでは、限定公開クラスタにファイアウォール ルールを追加する方法について説明します。デフォルトでは、クラスタ コントロール プレーンはポート 443（HTTPS）および 10250（kubelet）上のみでノードおよび Pod への TCP 接続を開始するようにファイアウォール ルールによって制限されています。一部の Kubernetes 機能では、他のポート上でアクセスを許可するためにファイアウォール ルールを追加する必要があります。自動的に作成されたファイアウォール ルールよりも高い優先度のファイアウォール ルールまたは階層型ファイアウォール ポリシー ルールを作成しないでください。
追加のファイアウォール ルールを必要とする Kubernetes 機能は次のとおりです。
- アドミッション Webhook
- 集計 API サーバー
- Webhook 変換
- 動的監査の構成
- 通常、ServiceReference フィールドを持つ API では、追加のファイアウォール ルールが必要です。
ファイアウォール ルールを追加すると、クラスタ コントロール プレーンから次のポートへのトラフィックが許可されます。
- 各ノードの指定ポート（hostPort）。
- これらのノードで実行されている各 Pod の指定ポート。
- こうしたノードで実行されている各 Service の指定ポート。
ファイアウォール ルールの詳細は、Cloud Load Balancing ドキュメントのファイアウォール ルールをご覧ください。
ファイアウォール ルールをクラスタに追加するには、使用するクラスタ コントロール プレーンの CIDR ブロックとターゲットを記録する必要があります。記録したらルールを作成します。
コントロール プレーンの CIDR ブロックを表示する
ファイアウォール ルールを追加するには、クラスタ コントロール プレーンの CIDR ブロックが必要です。
コンソール
Google Cloud コンソールで Google Kubernetes Engine のページに移動します。
クラスタリストで、クラスタ名をクリックします。
[詳細] タブの [ネットワーキング] で、[コントロール プレーン アドレスの範囲] フィールドの値をメモしておきます。
gcloud
次のコマンドを実行します。
gcloud container clusters describe CLUSTER_NAME
CLUSTER_NAME は、使用するクラスタの名前に置き換えます。
コマンド出力で、masterIpv4CidrBlock フィールドの値をメモしておきます。
既存のファイアウォール ルールを表示する
クラスタの既存のファイアウォール ルールが使用するターゲット（この場合は宛先ノード）を指定する必要があります。
コンソール
Google Cloud コンソールの [ファイアウォール ポリシー] ページに移動します。
[VPC ファイアウォール ルール] の [テーブルをフィルタリング] に「
gke-CLUSTER_NAME」と入力します。
結果として出力される [ターゲット] フィールドの値をメモしておきます。
gcloud
次のコマンドを実行します。
gcloud compute firewall-rules list \
--filter 'name~^gke-CLUSTER_NAME' \
--format 'table(
name,
network,
direction,
sourceRanges.list():label=SRC_RANGES,
allowed[].map().firewall_rule().list():label=ALLOW,
targetTags.list():label=TARGET_TAGS
)'
コマンド出力で、[ターゲット] フィールドの値をメモしておきます。
共有 VPC のファイアウォール ルールを表示するには、コマンドに --project HOST_PROJECT_ID フラグを追加します。
ファイアウォール ルールを追加する
コンソール
Google Cloud コンソールの [ファイアウォール ポリシー] ページに移動します。
[add_box ファイアウォール ルールを作成] をクリックします。
[名前] に、ファイアウォール ルールの名前を入力します。
[ネットワーク] リストで、関連するネットワークを選択します。
[トラフィックの方向] で [上り（内向き）] をクリックします。
[一致したときのアクション] で [許可] をクリックします。
[ターゲット] リストで、[指定されたターゲットタグ] を選択します。
[ターゲットタグ] に、先ほどメモしたターゲット値を入力します。
[ソースフィルタ] リストで、[IPv4 範囲] を選択します。
[ソース IPv4 の範囲] に、クラスタ コントロール プレーンの CIDR ブロックを入力します。
[プロトコルとポート] で [指定したプロトコルとポート] をクリックし、関連するプロトコル（tcpまたはudp）のチェックボックスを選択して、プロトコル フィールドにポート番号を入力します。
[作成] をクリックします。
gcloud
次のコマンドを実行します。
gcloud compute firewall-rules create FIREWALL_RULE_NAME \
--action ALLOW \
--direction INGRESS \
--source-ranges CONTROL_PLANE_RANGE \
--rules PROTOCOL:PORT \
--target-tags TARGET
次のように置き換えます。
FIREWALL_RULE_NAME: ファイアウォール ルールに付ける名前。CONTROL_PLANE_RANGE: 前の手順で確認したクラスタ コントロール プレーンの IP アドレス範囲（masterIpv4CidrBlock）。PROTOCOL:PORT: ポートとそのプロトコル（tcpまたはudp）。TARGET: 以前に収集した目標（Targets）値。
共有 VPC のファイアウォール ルールを追加するには、コマンドに次のフラグを追加します。
--project HOST_PROJECT_ID
--network NETWORK_ID
ノードに外部 IP アドレスがないことを確認する
限定公開クラスタの作成後は、クラスタのノードに外部 IP アドレスがないことを確認します。
コンソール
Google Cloud コンソールで Google Kubernetes Engine のページに移動します。
クラスタのリストで、クラスタ名をクリックします。
Autopilot クラスタの場合は、[クラスタの基本] セクションで [外部エンドポイント] フィールドを確認します。値は [無効] です。
Standard クラスタの場合は、次の操作を行います。
- [クラスタ] ページで、[ノード] タブをクリックします。
- [ノードプール] でノードプールの名前をクリックします。
- [ノードプールの詳細] ページの [インスタンス グループ] で、インスタンス グループの名前をクリックします。たとえば、gke-private-cluster-0-default-pool-5c5add1f-grp などです。
- インスタンスのリストで、インスタンスに外部 IP アドレスが指定されていないことを確認します。
gcloud
次のコマンドを実行します。
kubectl get nodes --output wide
出力の EXTERNAL-IP 列は空になります。
STATUS ... VERSION EXTERNAL-IP OS-IMAGE ...
Ready v.8.7-gke.1 Container-Optimized OS
Ready v1.8.7-gke.1 Container-Optimized OS
Ready v1.8.7-gke.1 Container-Optimized OS
クラスタでの VPC ピアリングの再利用を確認する
2020 年 1 月 15 日以降に作成した限定公開クラスタは、VPC ネットワーク ピアリング接続を再利用します。
限定公開クラスタが VPC ネットワーク ピアリング接続を再利用するかどうかは、gcloud CLI または Google Cloud コンソールで確認できます。
コンソール
クラスタの詳細ページで「VPC ピアリング」行を調べます。クラスタが VPC ピアリング接続を再利用している場合、出力は gke-n で始まります。例: gke-n34a117b968dee3b2221-93c6-40af-peer
gcloud
gcloud container clusters describe CLUSTER_NAME \
--format="value(privateClusterConfig.peeringName)"
クラスタが VPC ピアリング接続を再利用している場合、出力は gke-n で始まります。例: gke-n34a117b968dee3b2221-93c6-40af-peer
クラスタの高度な構成
このページでは、限定公開クラスタの作成時に必要となる高度な構成について説明します。
プライベート ノードにアウトバウンドのインターネット アクセスを許可する
外部レジストリからイメージを pull するなど、プライベート ノードにインターネットへのアウトバウンド アクセスを提供する場合は、Cloud NAT を使用して Cloud Router を作成して構成します。Cloud NAT を使用すると、限定公開クラスタでは、インターネット経由でアウトバウンド接続を確立してパケットを送受信できます。
Cloud Router を使用すると、リージョン内のすべてのノードで、すべてのプライマリ IP 範囲とエイリアス IP 範囲に Cloud NAT を使用できます。また、NAT ゲートウェイに外部 IP アドレスが自動的に割り振られます。
Cloud Router の作成と構成の手順については、Cloud NAT のドキュメントの Cloud Router を使用して NAT 構成を作成するをご覧ください。
共有 VPC ネットワーク内での限定公開クラスタの作成
共有 VPC ネットワーク内で限定公開クラスタを作成する方法については、共有 VPC での限定公開クラスタの作成をご覧ください。
Windows Server コンテナ アプリケーションを限定公開クラスタにデプロイする
Windows Server コンテナ アプリケーションを限定公開クラスタにデプロイする方法については、Windows ノードプールのドキュメントをご覧ください。
コントロール プレーンのプライベート エンドポイントにグローバルにアクセスする
コントロール プレーンのプライベート エンドポイントは、コントロール プレーンの VPC ネットワーク内の内部パススルー ネットワーク ロードバランサによって実装されます。内部パススルー ネットワーク ロードバランサにアクセスできるのは、内部クライアント、または Cloud VPN トンネルと Cloud Interconnect VLAN アタッチメント経由で接続しているクライアントです。
デフォルトでは、これらのクライアントはロードバランサと同じリージョンに配置されている必要があります。
コントロール プレーンのグローバル アクセスを有効にすると、内部パススルー ネットワーク ロードバランサにグローバルにアクセスできるようになります。クライアント VM とオンプレミス システムは、承認済みネットワークの構成に従って、任意のリージョンからコントロール プレーンのプライベート エンドポイントに接続できます。
内部パススルー ネットワーク ロードバランサとグローバル アクセスの詳細については、内部ロードバランサと接続ネットワークをご覧ください。
コントロール プレーンのプライベート エンドポイント グローバル アクセスを有効にする
限定公開クラスタを作成するときに、デフォルトでは、コントロール プレーンのプライベート エンドポイントに対するグローバル アクセスが有効になっていません。コントロール プレーンのグローバル アクセスを有効にするには、クラスタのモードに基づいて次のツールを使用します。
- Standard クラスタの場合は、
Google Cloud CLIまたは Google Cloud コンソールを使用できます。
- Autopilot クラスタの場合は、
google_container_clusterTerraform リソースを使用できます。
コンソール
コントロール プレーンのグローバル アクセスを有効にした新しい限定公開クラスタを作成するには、次の手順を行います。
Google Cloud コンソールで Google Kubernetes Engine のページに移動します。
[ 作成] をクリックし、[Standard] セクションまたは [Autopilot] セクションで [構成] をクリックします。
名前を入力します。
ナビゲーション パネルで [ネットワーキング] をクリックします。
[限定公開クラスタ] を選択します。
[コントロール プレーンのグローバル アクセスを有効にする] チェックボックスをオンにします。
必要に応じて他のフィールドを構成します。
[作成] をクリックします。
既存の限定公開クラスタでコントロール プレーンのグローバル アクセスを有効にするには、次の手順を行います。
Google Cloud コンソールで Google Kubernetes Engine のページに移動します。
編集するクラスタの横にあるmore_vert [アクション] をクリックし、[edit 編集] をクリックします。
[ネットワーキング] セクションで、[コントロール プレーン グローバル アクセス] の横にある [edit 編集] をクリックします。
[コントロール プレーン グローバル アクセスの編集] ダイアログで、[コントロール プレーン グローバル アクセスを有効にする] チェックボックスをオンにします。
[変更を保存] をクリックします。
gcloud
--enable-master-global-access フラグを追加して、コントロール プレーンのプライベート エンドポイントへのグローバル アクセスが有効な限定公開クラスタを作成します。
gcloud container clusters create CLUSTER_NAME \
--enable-private-nodes \
--enable-master-global-access
既存の限定公開クラスタのコントロール プレーンのプライベート エンドポイントへのグローバル アクセスを有効にすることもできます。
gcloud container clusters update CLUSTER_NAME \
--enable-master-global-access
コントロール プレーンのプライベート エンドポイント グローバル アクセスを確認する
コントロール プレーンのプライベート エンドポイントへのグローバル アクセスが有効になっているかどうか確認するには、次のコマンドを実行して出力を表示します。
gcloud container clusters describe CLUSTER_NAME
出力の privateClusterConfig セクションで masterGlobalAccessConfig のステータスを確認できます。
privateClusterConfig:
enablePrivateNodes: true
masterIpv4CidrBlock: 172.16.1.0/28
peeringName: gke-1921aee31283146cdde5-9bae-9cf1-peer
privateEndpoint: 172.16.1.2
publicEndpoint: 34.68.128.12
masterGlobalAccessConfig:
enabled: true
他のネットワークからコントロール プレーンのプライベート エンドポイントにアクセスする
GKE 限定公開クラスタを作成し、コントロール プレーンのパブリック エンドポイントを無効にする場合、kubectl などのツールで、コントロール プレーンのプライベート エンドポイントを使用してクラスタを管理する必要があります。次のような別のネットワークから、クラスタのコントロール プレーンのプライベート エンドポイントにアクセスできます。
- Cloud VPN トンネルや Cloud Interconnect VLAN アタッチメントを使用してクラスタの VPC ネットワークに接続しているオンプレミス ネットワーク
- Cloud VPN トンネルを使用してクラスタの VPC ネットワークに接続された別の VPC ネットワーク
次の図は、オンプレミス ネットワークと GKE コントロール プレーン ノード間のルーティング パスを示しています。
別のネットワーク内のシステムがクラスタのコントロール プレーンのプライベート エンドポイントに接続できるようにするには、次の要件を満たす必要があります。
クラスタとそのコントロール プレーンのプライベート エンドポイントの関連するネットワーク情報を特定して記録します。
gcloud container clusters describe CLUSTER_NAME \ --location=COMPUTE_LOCATION \ --format="yaml(network, privateClusterConfig)"次のように置き換えます。
CLUSTER_NAME: クラスタの名前。COMPUTE_LOCATION: クラスタの Compute Engine のロケーション。
コマンドの出力から、次の手順で使用する次の情報を特定して記録します。
network: クラスタの VPC ネットワークの名前または URI。privateEndpoint: コントロール プレーンのプライベート エンドポイントの IPv4 アドレス、またはそれを含む IPv4 CIDR 範囲（masterIpv4CidrBlock）。peeringName: クラスタの VPC ネットワークをコントロール プレーンの VPC ネットワークに接続するために使用される VPC ネットワーク ピアリング接続の名前。
出力は次のようになります。
network: cluster-network privateClusterConfig: enablePrivateNodes: true masterGlobalAccessConfig: enabled: true masterIpv4CidrBlock: 172.16.1.0/28 peeringName: gke-1921aee31283146cdde5-9bae-9cf1-peer privateEndpoint: 172.16.1.2 publicEndpoint: 34.68.128.12コントロール プレーンのプライベート エンドポイント グローバル アクセスを有効にして、パケットがクラスタの VPC ネットワーク内の任意のリージョンから入るようにすることを検討してください。コントロール プレーンのプライベート エンドポイント グローバル アクセスを有効にすると、クラスタのリージョンだけでなく、任意のリージョンにある Cloud VPN トンネルや Cloud Interconnect VLAN アタッチメントを使用してプライベート エンドポイントに接続できます。
他のネットワークにある
privateEndpointIP アドレスまたはmasterIpv4CidrBlockIP アドレス範囲に向うルートを作成します。コントロール プレーンのプライベート エンドポイント IP アドレスは、常にmasterIpv4CidrBlockIPv4 アドレス範囲内にあるため、次のような場合、privateEndpointIP アドレスまたはそこを含む範囲のルートを作成すると、パケットが相手ネットワークからコントロール プレーンのプライベート エンドポイントに向かうパスが確立します。他のネットワークは、Cloud Interconnect VLAN アタッチメントか動的（BGP）ルートを使用する Cloud VPN トンネルを使用して、クラスタの VPC ネットワークに接続します。Cloud Router のカスタム アドバタイズ ルートを使用します。詳細については、Cloud Router のドキュメントのカスタム アドレス範囲をアドバタイズするをご覧ください。
他のネットワークは、動的ルートを使用しない Classic VPN トンネルを使用してクラスタの VPC ネットワークに接続します。他のネットワークには静的ルートを構成する必要があります。
ピアリング関係のカスタムルートをコントロール プレーンの VPC ネットワークにエクスポートするように、クラスタの VPC ネットワークを構成します。Google Cloud は常に、クラスタの VPC ネットワークからカスタムルートをインポートするようにコントロール プレーンの VPC ネットワークを構成します。このステップでは、コントロール プレーンのプライベート エンドポイントから他のネットワークに戻るパケットのパスを確立します。
クラスタの VPC ネットワークからカスタムルートのエクスポートを有効にするには、次のコマンドを使用します。
gcloud compute networks peerings update PEERING_NAME \ --network=CLUSTER_VPC_NETWORK \ --export-custom-routes次のように置き換えます。
PEERING_NAME: クラスタの VPC ネットワークをコントロール プレーンの VPC ネットワークに接続するピアリングの名前CLUSTER_VPC_NETWORK: クラスタの VPC ネットワークの名前または URI
VPC でカスタムルートのエクスポートが有効になっている場合、Google Cloud IP の範囲と重複するルートを作成すると、クラスタが壊れる可能性があります。
既存の VPC ネットワーク ピアリング接続のルート交換を更新する方法については、ピアリング接続を更新するをご覧ください。
クラスタの VPC ネットワーク内のカスタムルートには、オンプレミス ネットワークなど他のネットワークの IP アドレス範囲が宛先であるルートが含まれます。こうしたルートが、コントロール プレーンの VPC ネットワークでピアリング カスタムルートとして有効になるようにするには、他のネットワークからのサポートされている宛先をご覧ください。
他のネットワークからのサポートされている宛先
他のネットワークからクラスタの VPC ネットワーク内の Cloud Router に送信されるアドレス範囲は、次の条件を満たしている必要があります。
クラスタの VPC はデフォルト ルート（
0.0.0.0/0）を受け入れることができますが、コントロール プレーンの VPC ネットワークは、すでにローカルのデフォルト ルートがあるため、常にデフォルト ルートを拒否します。他のネットワークが VPC ネットワークにデフォルト ルートを送信する場合、相手側のネットワークもコントロール プレーンのプライベート エンドポイントに接続する必要があるシステムの特定の宛先を送信する必要があります。詳細については、ルーティング順序をご覧ください。コントロール プレーンの VPC ネットワークが、デフォルト ルートを効率的に置き換えるルートを受け入れる場合、そうしたルートは Google Cloud API とサービスへの接続を切断し、クラスタ コントロール プレーンを中断させます。代表的な例として、相手側ネットワークは、宛先が
0.0.0.0/1と128.0.0.0/1のルートをアドバタイズしてはいけません。別の方法については、前の説明をご覧ください。
Cloud Router の上限、特に学習したルートの一意の宛先の最大数をモニタリングします。
VPC Service Controls による限定公開クラスタの保護
VPC Service Controls を使用して GKE 限定公開クラスタの保護を強化します。
VPC Service Controls は GKE 限定公開クラスタ向けの追加のセキュリティ機能を提供して、データ漏洩のリスクを低減します。VPC Service Controls の活用により、境界の外部から発生するリクエストからリソースとサービスを保護するサービス境界にプロジェクトを追加できます。
サービス境界の詳細については、サービス境界の詳細と構成をご覧ください。
VPC Service Controls サービス境界内の GKE 限定公開クラスタで Artifact Registry を使用する場合は、制限付きの仮想 IP へのルーティングを構成して、データの引き出しを防ぐ必要があります。
クリーンアップ
このページのタスクを完了したら、アカウントで不要な請求が発生しないように、以下の手順でリソースを削除します。
クラスタを削除する
コンソール
Google Cloud コンソールで Google Kubernetes Engine のページに移動します。
各クラスタを選択します。
[delete 削除] をクリックします。
gcloud
gcloud container clusters delete -q private-cluster-0 private-cluster-1 private-cluster-2 private-cluster-3
ネットワークを削除する
コンソール
Google Cloud コンソールで [VPC ネットワーク] ページに移動します。
ネットワークのリストで、
my-net-0をクリックします。[VPC ネットワークの詳細] ページで、delete [VPC ネットワークの削除] をクリックします。
[ネットワークの削除] ダイアログで [削除] をクリックします。
gcloud
gcloud compute networks delete my-net-0