管理クラスタを作成する

このページでは、Google Distributed Cloud の管理クラスタを作成する方法について説明します。管理クラスタは、ワークロードを実行するユーザー クラスタを管理します。トポロジ ドメインを使用する場合は、トポロジ ドメインで使用する管理クラスタを作成するをご覧ください。

このページは、技術インフラストラクチャの設定、モニタリング、管理を行う管理者、アーキテクト、オペレーターを対象としています。コンテンツで参照する一般的なロールとタスク例の詳細については、一般的な GKE Enterprise ユーザーロールとタスクをご覧ください。 Google Cloud

管理クラスタの詳細については、インストールの概要をご覧ください。

始める前に

  • 管理ワークステーションを作成するの説明に従って、管理ワークステーションを設定してログインできることを確認します。

  • IP アドレス計画のドキュメントを確認します。3 つのコントロールプレーン ノードとコントロールプレーンの VIP に十分な IP アドレスが利用できることを確認します。kubeception ユーザー クラスタを作成する場合は、それらのユーザー クラスタのコントロールプレーン ノードに十分な数の IP アドレスが利用できる必要があります。

  • ロード バランシングの概要を確認し、使用するロードバランサの種類に関する決定を再確認してください。手動ロードバランサの場合は、管理クラスタを作成する前にロードバランサを設定する必要があります。

  • privateRegistry セクションを確認し、Google Distributed Cloud コンポーネントにパブリック レジストリとプライベート レジストリのどちらを使用するかを決定します。

  • osImageType フィールドで今後のことを考えて、管理クラスタノードで実行するオペレーティング システムの種類を決定します。

  • 組織でアウトバウンド トラフィックがプロキシ サーバーを通過する必要がある場合は、必要な API と Artifact Registry のアドレスを許可リストに登録してください。

  • バージョン 1.29 以降では、サーバーサイドのプリフライト チェックはデフォルトで有効になっています。サーバーサイドのプリフライト チェックには、追加のファイアウォール ルールが必要です。管理クラスタのファイアウォール ルールで、[プリフライト チェック] を検索し、必要なファイアウォール ルールがすべて構成されていることを確認します。 サーバーサイドのプリフライト チェックは、管理ワークステーションでローカルではなく、ブートストラップ クラスタで実行されます。

任意のツールを使用して管理クラスタを作成する

このセクションでは、gkectl と Terraform を使用して管理クラスタを作成する手順について説明します。

gkectlTerraform

手順の概要

管理クラスタの作成に関わる主な手順は次のとおりです。

  1. 構成ファイルの入力
    管理クラスタの構成ファイル、認証情報構成ファイル、（状況により）IP ブロック ファイルを完成させて検証し、新しい管理クラスタの詳細を指定します。
  2. OS イメージを vSphere にインポートし、該当する場合はコンテナ イメージをプライベート レジストリに push します。
    gkectl prepare を実行します。
  3. 管理クラスタを作成する。
    gkectl を使用して、完成した構成ファイルで指定した新しい管理クラスタを作成します。Google Distributed Cloud で、管理クラスタを作成する際には、Docker の Kubernetes（kind）クラスタをデプロイして、管理クラスタの作成に必要な Kubernetes コントローラを一時的にホストします。この一時的なクラスタは、ブートストラップ クラスタと呼ばれます。ユーザー クラスタは、ブートストラップ クラスタを使用せずに管理クラスタを管理することによって作成およびアップグレードされます。
  4. 管理クラスタが実行されていることを確認します。
    kubectl を使用してクラスタノードを表示します。

この手順を完了すると、実行中の管理クラスタでユーザー クラスタの作成と管理が可能になります。

VPC Service Controls を使用している場合、"Validation Category: GCP - [UNKNOWN] GCP service: [Stackdriver] could not get GCP services" などの一部の gkectl コマンドを実行するとエラーが表示される場合があります。これらのエラーを回避するには、コマンドに --skip-validation-gcp パラメータを追加します。

構成ファイルに入力する

  • 管理ワークステーションに必要なバージョンの gkectl があることを確認します。通常、クラスタの作成時に使用されるバージョンと同じバージョンの gkectl を使用します。クラスタ バージョンは、クラスタ構成ファイルの gkeOnPremVersion フィールドで指定します。クラスタの作成時に、次のバージョン ルールが適用されます。

    • gkectl マイナー バージョンは、クラスタのマイナー バージョンより低くすることはできません。たとえば、gkectl バージョン 1.29 を使用して 1.30 クラスタを作成することはできません。パッチ バージョンは関係ありません。たとえば、gkectl バージョン 1.29.0-gke.1456 を使用して、パッチ バージョンが 1.29.1000-gke.94 などのクラスタを作成できます。

    • gkectl マイナー バージョンは、クラスタ バージョンより 2 つ前のマイナー バージョンにすることはできません。たとえば、1.28 クラスタを作成する場合、gkectl のバージョンは 1.29 または 1.30 にできます。ただし、gkectl バージョン 1.31 はクラスタ バージョンより 3 つのマイナー バージョン上であるため、使用できません。

    必要に応じて、gkectl をダウンロードするを参照して、サポートされているバージョンの gkectl を入手します。

gkeadm を使用して管理ワークステーションを作成した場合、admin-cluster.yaml という名前の構成ファイルが生成されます。

管理ワークステーションの作成に gkeadm を使用しなかった場合は、管理ワークステーションで次のコマンドを実行して admin-cluster.yaml を生成します。

gkectl create-config admin

この構成ファイルは、管理クラスタの作成用です。

管理クラスタの構成ファイルのドキュメントを詳しく調べて、構成ファイルをよく理解します。このドキュメントは別のタブまたはウィンドウで開いたままにしておくことをおすすめします。次の手順を実行する際にこれを参照するためです。

name

管理クラスタの名前を指定する場合は、name フィールドに入力します。

bundlePath

バンドルは、クラスタ コンポーネントを含む zip ファイルです。管理ワークステーションに含まれています。このフィールドはあらかじめ入力されています。

vCenter

このセクションのフィールドには、管理ワークステーションの作成時に指定した値がすでに入力されています。

enableAdvancedCluster

プレビューの高度なクラスタ機能を有効にする場合は、enableAdvancedCluster を true に設定します。

高度なクラスタ プレビューには次の制限事項があります。

  • 高度なクラスタは、新しい 1.31 クラスタのクラスタ作成時にのみ有効にできます。
  • 高度なクラスタを有効にすると、クラスタを 1.32 にアップグレードできなくなります。高度なクラスタはテスト環境でのみ有効にします。

network

network.controlPlaneIPBlock セクションと network.hostConfig セクションに入力します。また、adminMaster.replicas を 3 に設定します。

network.podCIDR フィールドと network.serviceCIDR フィールドには、値が事前に設定されています。この値は、ネットワークですでに使用されているアドレスと競合しない限り変更できません。Kubernetes では、これらの範囲を使用してクラスタ内の Pod と Service に IP アドレスを割り当てます。

必要に応じて、構成ファイルのネットワーク セクションの残りのフィールドに入力します。

loadBalancer

管理クラスタの Kubernetes API サーバー用に VIP を確保します。loadBalancer.vips.controlPlaneVIP の値として VIP を指定します。

詳細については、管理クラスタ サブネット内の VIP をご覧ください。

使用する負荷分散の種類を決めます。次のオプションがあります。

  • MetalLB バンドルの負荷分散。loadBalancer.kind を "MetalLB" に設定します。

  • 手動負荷分散。loadBalancer.kind を "ManualLB" に設定し、manualLB セクションを削除します。

負荷分散のオプションの詳細については、負荷分散の概要をご覧ください。

antiAffinityGroups

必要に応じて、antiAffinityGroups.enabled を true または false に設定します。

このフィールドを使用して、Google Distributed Cloud に管理クラスタノード用の VMware Distributed Resource Scheduler（DRS）アンチアフィニティ ルールを作成するかどうかを指定すると、管理クラスタノードはデータセンター内の少なくとも 3 つの物理ホストに分散されます。

adminMaster

管理クラスタのコントロール プレーン ノードの CPU とメモリを指定する場合は、adminMaster セクションの cpus と memoryMB フィールドに入力します。

管理クラスタには 3 つのコントロール プレーン ノードが必要です。adminMaster セクションの replicas フィールドを 3 に設定します。

proxy

管理クラスタノードを持つネットワークがプロキシ サーバーの背後にある場合は、proxy セクションに入力します。

privateRegistry

Google Distributed Cloud コンポーネントのコンテナ イメージを保持する場所を決定します。次のオプションがあります。

  • Artifact Registry

  • 独自の非公開 Docker レジストリ。

    独自の非公開レジストリを使用する場合は、privateRegistry セクションに入力します。

componentAccessServiceAccountKeyPath

Google Distributed Cloud は、コンポーネント アクセス サービス アカウントを使用して、Artifact Registry からクラスタ コンポーネントをダウンロードします。このフィールドには、コンポーネント アクセス サービス アカウントの JSON キーファイルのパスが格納されます。

このフィールドはあらかじめ入力されています。

gkeConnect

gkeConnect セクションに入力して、 Google Cloud フリートに管理クラスタを登録します。構成ファイルに stackdriver セクションと cloudAuditLogging セクションを含める場合、gkeConnect.projectID の ID は stackdriver.projectID と cloudAuditLogging.projectID で設定した ID と同じである必要があります。プロジェクト ID が同じでない場合、クラスタの作成は失敗します。

1.28 以降では、必要に応じて、gkeConnect.location で Fleet と Connect サービスを実行するリージョンを指定できます。このフィールドを含めない場合、クラスタはこれらのサービスのグローバル インスタンスを使用します。

gkeConnect.location を含める場合、指定するリージョンは、cloudAuditLogging.clusterLocation、stackdriver.clusterLocation、gkeOnPremAPI.location で構成されたリージョンと同じである必要があります。リージョンが同じでない場合、クラスタの作成は失敗します。

gkeOnPremAPI

Google Cloud プロジェクトで GKE On-Prem API が有効になっている場合、プロジェクト内のすべてのクラスタが、stackdriver.clusterLocation で構成されたリージョンの GKE On-Prem API に登録（自動的に）されます。gkeOnPremAPI.location リージョンは、cloudAuditLogging.clusterLocation、gkeConnect.location、stackdriver.clusterLocation で指定されたリージョンと同じリージョンにする必要があります。リージョンが同じでない場合、クラスタの作成は失敗します。

  • GKE On-Prem API のプロジェクトにすべてのクラスタを登録する場合は、始める前にの手順に沿って、プロジェクト内の GKE On-Prem API を有効にしてから使用します。

  • GKE On-Prem API にクラスタを登録しない場合は、このセクションを追加して、gkeOnPremAPI.enabled を false に設定します。プロジェクトにクラスタを登録しない場合は、プロジェクトで gkeonprem.googleapis.com（GKE On-Prem API のサービス名）を無効にします。手順については、サービスの無効化をご覧ください。

stackdriver

クラスタに対して Cloud Logging と Cloud Monitoring を有効にする場合は、stackdriver セクションに入力します。

デフォルトでは、このセクションは必須です。つまり、このセクションに入力しない場合、gkectl create admin を実行する際に --skip-validation-stackdriver フラグを含める必要があります。

次の要件に注意してください。

  • 高度なクラスタを有効にする場合は、cloudAuditLogging.serviceAccountKeyPath と stackdriver.serviceAccountKeyPath に同じパスを指定する必要があります。

  • stackdriver.projectID の ID は、gkeConnect.projectID と cloudAuditLogging.projectID の ID と同じでなければなりません。

  • stackdriver.clusterLocation で設定された Google Cloud リージョンは、cloudAuditLogging.clusterLocation と gkeConnect.location で設定されたリージョンと同じである必要があります。さらに、gkeOnPremAPI.enabled が true の場合、gkeOnPremAPI.location に同じリージョンを設定する必要があります。

プロジェクト ID とリージョンが同じでない場合、クラスタの作成は失敗します。

cloudAuditLogging

クラスタの Kubernetes API サーバーの監査ログを Cloud Audit Logs と統合する場合は、cloudAuditLogging セクションに値を入力します。

次の要件に注意してください。

  • 高度なクラスタを有効にする場合は、cloudAuditLogging.serviceAccountKeyPath と stackdriver.serviceAccountKeyPath に同じパスを指定する必要があります。

  • cloudAuditLogging.projectID の ID は、gkeConnect.projectID と stackdriver.projectID の ID と同じでなければなりません。

  • cloudAuditLogging.clusterLocation で設定された Google Cloud リージョンは、stackdriver.clusterLocation と gkeConnect.location で設定されたリージョンと同じである必要があります（フィールドが構成ファイルに含まれている場合）。さらに、gkeOnPremAPI.enabled が true の場合、gkeOnPremAPI.location に同じリージョンを設定する必要があります。

プロジェクト ID とリージョンが同じでない場合、クラスタの作成は失敗します。

clusterBackup

管理クラスタのバックアップを有効にする場合は、clusterBackup.datastore をクラスタのバックアップを保存する vSphere データストアに設定します。

高度なクラスタを有効にする場合は、このセクションを削除します。管理クラスタを vSphere データストアにバックアップすることはできません。

autoRepair

管理クラスタのノードの自動修復を有効にする場合は、autoRepair.enabled を true に設定します。

secretsEncryption

Secret の常時暗号化を有効にする場合は、secretsEncryption セクションに入力します。

高度なクラスタを有効にする場合は、secretsEncryption.enabled を false に設定します。常時オンの Secret 暗号化はサポートされていません。

osImageType

管理クラスタノードに使用する OS イメージのタイプを決定し、それに応じて osImageType セクションに入力します。

高度なクラスタを有効にする場合は、osImageType を ubuntu_cgroupv2 または ubuntu_containerd に設定します。

入力済みの構成ファイルの例

入力済みの管理クラスタ構成ファイルの例を以下に示します。この構成により、利用可能な機能のすべてではなく、一部が有効になります。

vc-01-admin-cluster.yaml

apiVersion: v1
kind: AdminCluster
name: "gke-admin-01"
bundlePath: "/var/lib/gke/bundles/gke-onprem-vsphere-1.28.0-gke.1-full.tgz"
vCenter:
  address: "vc01.example"
  datacenter: "vc-01"
  cluster: "vc01-workloads-1"
  resourcePool: "vc-01-pool-1"
  datastore: "vc01-datastore-1"
  caCertPath: "/usr/local/google/home/me/certs/vc01-cert.pem""
  credentials:
    fileRef:
      path: "credential.yaml"
      entry: "vCenter"
network:
  hostConfig:
    dnsServers:
    - "203.0.113.1"
    - "198.51.100.1"
    ntpServers:
    - "216.239.35.4"
  serviceCIDR: "10.96.232.0/24"
  podCIDR: "192.168.0.0/16"
  vCenter:
    networkName: "vc01-net-1"
  controlPlaneIPBlock:
    netmask: "255.255.248.0"
    gateway: "21.0.143.254"
    ips:
    - ip: "21.0.140.226"
      hostname: "admin-cp-vm-1"
    - ip: "21.0.141.48"
      hostname: "admin-cp-vm-2"
    - ip: "21.0.141.65"
      hostname: "admin-cp-vm-3"
loadBalancer:
  vips:
    controlPlaneVIP: "172.16.20.59"
  kind: "MetalLB"
antiAffinityGroups:
  enabled: true
adminMaster:
  cpus: 4
  memoryMB: 16384
  replicas: 3
componentAccessServiceAccountKeyPath: "sa-key.json"
gkeConnect:
  projectID: "my-project-123"
  registerServiceAccountKeyPath: "connect-register-sa-2203040617.json"
stackdriver:
  projectID: "my-project-123"
  clusterLocation: "us-central1"
  enableVPC: false
  serviceAccountKeyPath: "log-mon-sa-2203040617.json"
  disableVsphereResourceMetrics: false
clusterBackup:
  datastore: "vc-01-datastore-bu"
autoRepair:
  enabled: true
osImageType: "ubuntu_containerd"

構成ファイルを検証する

管理クラスタの構成ファイルに入力したら、gkectl check-config を実行してファイルが有効であることを検証します。

gkectl check-config --config ADMIN_CLUSTER_CONFIG

ADMIN_CLUSTER_CONFIG は、管理クラスタ構成ファイルのパスで置き換えます。

コマンドがエラー メッセージを返した場合は、問題を修正してファイルを再度検証します。

時間のかかる検証をスキップする場合は、--fast フラグを渡します。個別の検証をスキップするには、--skip-validation-xxx フラグを使用します。check-config コマンドについて詳しくは、プリフライト チェックの実行をご覧ください。

OS イメージを取得する

gkectl prepare を実行して、vSphere 環境を初期化します。

gkectl prepare --config ADMIN_CLUSTER_CONFIG

gkectl prepare コマンドによって、以下の準備タスクが実行されます。

  • OS イメージを vSphere にインポートして、VM テンプレートとしてマークします。

  • 非公開 Docker レジストリを使用している場合は、コンテナ イメージをレジストリに push します。

  • 必要に応じて、コンテナ イメージのビルド証明書を検証します。これにより、イメージが Google によって作成、署名されていることと、デプロイの準備ができていることを確認します。

管理クラスタを作成する

管理クラスタを作成します。

gkectl create admin --config ADMIN_CLUSTER_CONFIG

VPC Service Controls を使用している場合、"Validation Category: GCP - [UNKNOWN] GCP service: [Stackdriver] could not get GCP services" などの一部の gkectl コマンドを実行するとエラーが表示される場合があります。これらのエラーを回避するには、コマンドに --skip-validation-gcp パラメータを追加します。

障害発生後に管理クラスタの作成を再開する

管理クラスタの作成が失敗またはキャンセルされた場合は、create コマンドを再度実行してください。

gkectl create admin --config ADMIN_CLUSTER_CONFIG

管理クラスタの kubeconfig ファイルを見つける

gkectl create admin コマンドで、現在のディレクトリに kubeconfig という名前の kubeconfig ファイルが作成されます。この kubeconfig ファイルは後で管理クラスタとやり取りする際に必要になります。

kubeconfig ファイルには、管理クラスタの名前が含まれています。クラスタ名を表示するには、次のものを実行します。

kubectl config get-clusters --kubeconfig ADMIN_CLUSTER_KUBECONFIG

出力には、クラスタの名前が表示されます。例:

NAME
gke-admin-tqk8x

kubeconfig ファイルの名前と場所は、必要に応じて変更できます。

checkpoint.yaml ファイルを管理する

このセクションは、非 HA 管理クラスタにのみ適用されます。checkpoint.yaml ファイルは HA 管理クラスタの作成には使用されません。

gkectl create admin コマンドを実行して管理クラスタを作成した場合、管理クラスタのデータディスクと同じデータストア フォルダにチェックポイント ファイルが作成されています。デフォルトでは、このファイルの名前は DATA_DISK_NAME‑checkpoint.yaml です。DATA_DISK_NAME の長さが 245 文字以上の場合、ファイル名の長さに対する vSphere の上限により、名前は DATA_DISK_NAME.yaml になります。

このファイルには管理クラスタの状態と認証情報が含まれ、今後のアップグレードに使用されます。管理クラスタの削除プロセスを行っている場合以外は、このファイルを削除しないでください。

vCenter Server のインスタンスで VM の暗号化が有効になっている場合は、管理クラスタを作成またはアップグレードする前に、暗号オペレーション ダイレクト アクセスの権限が付与される必要があります。権限がない場合は、チェックポイントはアップロードされません。この権限を取得できない場合は、関連するコマンドを実行するときに、隠しフラグ --disable-checkpoint を使用してチェックポイント ファイルのアップロードを無効にできます。

checkpoint.yaml ファイルは、gkectl upgrade admin コマンドを実行するか、管理クラスタに影響を与える gkectl update コマンドを実行すると、自動的に更新されます。

管理クラスタが実行されていることを確認する

管理クラスタが実行されていることを確認します。

kubectl get nodes --kubeconfig ADMIN_CLUSTER_KUBECONFIG

ADMIN_CLUSTER_KUBECONFIG は、管理クラスタ kubeconfig ファイルのパスに置き換えます。

出力には、管理クラスタノードが表示されます。次に例を示します。

admin-cp-vm-1   Ready    control-plane,master   ...
admin-cp-vm-2   Ready    control-plane,master   ...
admin-cp-vm-3   Ready    control-plane,master   ...

ファイルをバックアップする

管理クラスタの kubeconfig ファイルをバックアップすることをおすすめします。つまり、管理ワークステーションから別の場所に kubeconfig ファイルをコピーします。その後、管理ワークステーションにアクセスできなくなった場合、または管理ワークステーションの kubeconfig ファイルが誤って削除された場合でも、管理クラスタにアクセスできます。

管理クラスタの秘密 SSH 鍵のバックアップも作成することをおすすめします。その後、管理クラスタにアクセスできなくなった場合でも、SSH を使用して管理クラスタノードに接続できます。これにより、管理クラスタへの接続に関する問題のトラブルシューティングと調査が可能になります。

管理クラスタから SSH 鍵を抽出して admin-cluster-ssh-key という名前のファイルに保存します。

kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG get secrets -n kube-system sshkeys \
    -o jsonpath='{.data.vsphere_tmp}' | base64 -d > admin-cluster-ssh-key

これで、選択した別の場所に admin-cluster-ssh-key をバックアップできるようになりました。

RBAC ポリシー

管理クラスタ構成ファイルの gkeConnect セクションに入力すると、クラスタの作成時または更新時にフリートに登録されます。フリート管理機能を有効にするため、 Google Cloud は Connect エージェントをデプロイし、クラスタが登録されているプロジェクトを表す Google サービス アカウントを作成します。Connect エージェントは、クラスタの Kubernetes API サーバーへのリクエストを処理するためにサービス アカウントとの接続を確立します。これにより、 Google Cloudのクラスタとワークロード管理機能にアクセスできるようになります。これには、クラスタを操作できる Google Cloud コンソールへのアクセスが含まれます。

管理クラスタの Kubernetes API サーバーは、Connect エージェントからのリクエストを承認できる必要があります。このため、サービス アカウントには、次のロールベース アクセス制御（RBAC）ポリシーが構成されています。

  • 権限借用ポリシー: Connect エージェントがサービス アカウントに代わって Kubernetes API サーバーにリクエストを送信することを承認します。

  • 権限ポリシー: 他の Kubernetes リソースに対して許可されているオペレーションを指定します。

Google Cloud コンソールでユーザー クラスタのライフサイクルを管理できるようにするために、サービス アカウントと RBAC ポリシーが必要です。

手順の概要

管理クラスタを作成する前に、管理ワークステーションで gkectl register bootstrap コマンドを実行する必要があります。このコマンドにより、管理ワークステーションに Kubernetes in Docker（kind）クラスタがデプロイされます。このブートストラップ クラスタは、管理クラスタの作成に必要な Kubernetes コントローラをホストします。管理クラスタを作成すると、ブートストラップ クラスタのコントローラによりノードがプロビジョニングされ、プリフライト チェックが実行されて、管理クラスタがフリートに登録されます。管理クラスタが正常に作成されると、ブートストラップ クラスタは自動的に削除されます。

Terraform を使用して管理クラスタを作成する大まかな手順は次のとおりです。

  1. 構成ファイルに入力します。
    google_gkeonprem_vmware_admin_cluster リソースと次の例を使用して、main.tf 構成ファイルを作成します。
  2. bootstrap クラスタを作成します。
    gkectl register bootstrap を実行してブートストラップ クラスタを作成します。コマンドでブートストラップ クラスタの作成が完了すると、出力に管理クラスタの構成を完了するよう求めるメッセージが表示されます。このプロセスは、管理クラスタが作成されるまで実行され続けます。
  3. 管理クラスタを作成する。
    別のターミナル ウィンドウまたは GKE On-Prem API にアクセスできる別のコンピュータで、terraform コマンドを実行して、完成した main.tf 構成ファイルで指定されているように新しい管理クラスタを作成します。

構成ファイルに入力する

次の例は、MetalLB を使用して 3 つのコントロール プレーン ノードを持つ高可用性（HA）管理クラスタを作成する方法を示しています。1.28 以降では、新しい管理クラスタは高可用性である必要があります。この要件のため、control_plane_node.replicas を 3 に設定する必要があります。詳細とその他の例については、google_gkeonprem_vmware_admin_cluster リファレンス ドキュメントをご覧ください。

次の例のプレースホルダ変数に値を入力し、main.tf にコピーして貼り付けます。gkeadm を使用して管理ワークステーションを作成した場合は、管理ワークステーションの構成ファイルを開き、vCenter セクションの値を対応するプレースホルダ変数にコピーします。

resource "google_gkeonprem_vmware_admin_cluster" "admin-cluster-metallb" {
  provider = google-beta
  name = "ADMIN_CLUSTER_NAME"
  project = "PROJECT_ID"
  location = "REGION"
  description = "DESCRIPTION"
  bootstrap_cluster_membership = "projects/PROJECT_ID/locations/REGION/memberships/bootstrap-ADMIN_CLUSTER_NAME"
  on_prem_version = "VERSION"
  image_type = "IMAGE_TYPE"
  vcenter {
    address = "VCENTER_ADDRESS"
    datacenter = "DATA_CENTER"
    cluster = "VCENTER_CLUSTER"
    resource_pool = "RESOURCE_POOL"
    datastore = "DATASTORE"
    ca_cert_data = "CA_CERT_DATA"
  }
  network_config {
    service_address_cidr_blocks = ["10.96.232.0/24"]
    pod_address_cidr_blocks = ["192.168.0.0/16"]
    vcenter_network = "NETWORK"
    dhcp_ip_config {
      enabled = true
    }
    host_config {
      dns_servers = ["DNS_SERVERS"]
      ntp_servers = ["NTP_SERVERS"]
    }
    ha_control_plane_config {
      control_plane_ip_block {
        gateway = "GATEWAY"
        netmask = "NETMASK"
        ips {
          hostname = "CONTROL_PLANE_HOST_1"
          ip       = "CONTROL_PLANE_NODE_IP_1"
        }
        ips {
          hostname = "CONTROL_PLANE_HOST_2"
          ip       = "CONTROL_PLANE_NODE_IP_2"
        }
        ips {
          hostname = "CONTROL_PLANE_HOST_3"
          ip       = "CONTROL_PLANE_NODE_IP_3"
        }
      }
    }
  }
  control_plane_node {
     cpus = NUM_CPUS
     memory = MEMORY
     replicas = 3
  }
  load_balancer {
    vip_config {
      control_plane_vip = "CONTROL_PLANE_VIP"
    }
    metal_lb_config {
      enabled = true
    }
  }
}

次のように置き換えます。

  • ADMIN_CLUSTER_NAME: 管理クラスタの名前。

  • PROJECT_ID: Google Cloud プロジェクト ID。

  • REGION: GKE On-Prem API（gkeonprem.googleapis.com）、フリート サービス（gkehub.googleapis.com）、Connect サービス（gkeconnect.googleapis.com）が実行される Google Cloud リージョン。us-west1 または別のサポートされているリージョンを指定します。

    location フィールドは、gkectl register bootstrap コマンドの --location フラグに対応します。

  • DESCRIPTION: 管理クラスタの説明。

  • VERSION: クラスタの Google Distributed Cloud のバージョン。Terraform を使用したクラスタの作成は、バージョン 1.28 以降でのみサポートされています。バージョンのリストについては、Google Distributed Cloud のバージョンをご覧ください。

  • IMAGE_TYPE: 管理クラスタノードで実行する OS イメージのタイプ。「ubuntu_containerd」、「cos」、「ubuntu_cgv2」、「cos_cgv2」のいずれかを指定します。

  • VCENTER_ADDRESS: vCenter Server のアドレス。

    • 管理ワークステーションの構成ファイル: vCenter.credentials.address フィールドの値を使用します。

    • vcenter.address フィールドは、gkectl register bootstrap コマンドの --vcenter-address フラグに対応します。

  • DATA_CENTER: vCenter データセンターの名前。

    • 管理ワークステーションの構成ファイル: vCenter.datacenter フィールドの値を使用します。

    • vcenter.datacenter フィールドは、gkectl register bootstrap コマンドの --vcenter-datacenter フラグに対応します。

  • VCENTER_CLUSTER: vCenter クラスタの名前。

    • 管理ワークステーションの構成ファイル: vCenter.cluster フィールドの値を使用します。

    • vcenter.cluster フィールドは、gkectl register bootstrap コマンドの --vcenter-cluster フラグに対応します。

  • RESOURCE_POOL: vCenter リソースプールの名前またはパス。

    • 管理ワークステーションの構成ファイル: vCenter.resourcePool フィールドの値を使用します。

    • vcenter.resource_pool フィールドは、gkectl register bootstrap コマンドの --vcenter-resource-pool フラグに対応します。

  • DATASTORE: vCenter データストアの名前。指定する値は、パスではなく、名前にする必要があります。パスを入力する必要がある場合は、次のフィールドを追加します。folder = "FOLDER"

    • 管理ワークステーションの構成ファイル: vCenter.datastore フィールドの値を使用します。

    • vcenter.datastore フィールドは、gkectl register bootstrap コマンドの --vcenter-datastore フラグに対応します。

    クラスタノードに VM ストレージ ポリシーを使用する場合は、vcenter.datastore フィールドを削除し、代わりに vcenter.storage_policy_name を追加します。さらに、gkectl register bootstrap コマンドに --vcenter-storage-policy フラグを追加します。vcenter.datastore または vcenter.storage_policy_name のいずれかの値を指定する必要があります。両方を指定することはできません。

  • FOLDER: クラスタ VM が配置される vCenter フォルダの名前。フォルダを使用していない場合は、このフィールドを削除します。

    • 管理ワークステーションの構成ファイル: vCenter.folder フィールドの値を使用します。

    • vcenter.folder フィールドは、gkectl register bootstrap コマンドの --vcenter-folder フラグに対応します。

  • CA_CERT_DATA: vCenter CA 証明書を PEM 形式で入力します。CA 証明書データを取得するには:

    1. 次のコマンドを実行します。

      cat CA_CERT_PATH_LOCAL |  tr '\n' '\\n'

      CA_CERT_PATH_LOCAL は、vCenter Server のルート CA 証明書のパスに置き換えます。gkeadm を使用して管理ワークステーションを作成した場合は、管理ワークステーション構成ファイルの caCertPath フィールドの値（ローカル コンピュータ上のパス）を使用できます。gkeadm は、CA 証明書ファイルを管理ワークステーションにコピーしました。管理ワークステーションのパスは、gkectl register bootstrap コマンドの --vcenter-ca-cert-path フラグで指定する必要があります。

    2. 前のコマンドから出力された証明書をコピーし、テキスト エディタに貼り付けます。バックスラッシュ文字（\）をすべて改行文字（\n）に置き換えます。

    3. 変更した証明書をコピーし、CA_CERT_DATA プレースホルダ変数に貼り付けます。

  • NETWORK: vCenter ネットワークの名前を入力します。

    • 管理ワークステーションの構成ファイル: vCenter.network フィールドの値を使用します。

    • network_config.vcenter_network フィールドは、gkectl register bootstrap コマンドの --vcenter-network フラグに対応します。

  • GATEWAY: コントロール プレーン クラスタノードがあるサブネットのデフォルト ゲートウェイの IP アドレス。

  • NETMASK: コントロール プレーン クラスタノードがあるサブネットのネットマスク。

  • DNS_SERVERS: DNS サーバーの IP アドレス。

  • NTP_SERVERS: 時刻（NTP）サーバーの IP アドレス。

  • control_plane_ip_block.ips セクションに、3 つのコントロール プレーン ノードの IP アドレスと、必要に応じてホスト名を入力します。ホスト名を入力しない場合は、構成から hostname フィールドを削除します。

  • NUM_CPUS: 管理クラスタ内の各コントロール プレーンノードの vCPU 数。4 以上の値を指定してください。

  • MEMORY: 管理クラスタ内の各コントロール プレーン ノードのメモリ数（メビバイト）。8,192 以上で、16,384 をおすすめします。

  • CONTROL_PLANE_VIP: 管理クラスタの Kubernetes API サーバー用にロードバランサで構成するために選択した IP アドレス。

構成ファイルとプランを確認する

main.tf が配置されているディレクトリで、次のコマンドを実行します。

  1. Terraform を初期化します。

    terraform init

    Terraform によって、 Google Cloud プロバイダなどの必要なライブラリがインストールされます。必要に応じて maint.tf のエラーを修正します。

  2. Terraform プランを作成します。

    terraform plan -out tfplan

    構成を確認し、必要に応じて変更します。

プランを適用する前に、次のセクションで説明するように、まずブートストラップ クラスタを作成する必要があります。

ブートストラップ クラスタを作成する

gkectl register bootstrap コマンドを実行すると、vCenter アカウントのユーザー名とパスワードの入力を求めるメッセージが表示されます。使用可能な認証情報があることを確認します。gkeadm を使用して管理ワークステーションを作成した場合、ユーザー名とパスワードは credential.yaml ファイルにあります。

  1. SSH を使用して管理ワークステーションにログインします。

  2. Google Cloud CLI で認証します。

    gcloud auth login

  3. 次のコマンドを実行して、ブートストラップ クラスタを作成します。フラグの値の多くは、main.tf フィールドと同じです。ただし、このコマンドは追加の値を取ります。この値は、指定されたプレースホルダ変数で指定する必要があります。

    gkectl register bootstrap \
    --target-cluster-name=ADMIN_CLUSTER_NAME \
    --project-id=PROJECT_ID \
    --location=REGION \
    --vcenter-address=VCENTER_ADDRESS \
    --vcenter-datacenter=DATA_CENTER \
    --vcenter-cluster=VCENTER_CLUSTER \
    --vcenter-resource-pool=RESOURCE_POOL \
    --vcenter-datastore=DATASTORE \
    --vcenter-network=NETWORK \
    --vcenter-ca-cert-path=CA_CERT_PATH \
    --bundle-path=BUNDLE_PATH \
    --component-access-service-account-key-path=COMPONENT_ACCESS_SA_PATH \
    --register-service-account-key-path=CONNECT_REGISTER_SA_PATH \
    --stackdriver-service-account-key-path=LOG_MON_SA_PATH \
    --cloud-audit-logging-service-account-key-path=CLOUD_AUDIT_SA_PATH

    次のパスを管理ワークステーションのパスに置き換えます。

    • CA_CERT_PATH: vCenter Server のルート CA 証明書のパス。
    • BUNDLE_PATH: バンドル ファイルのパス。gkeadm を使用して管理ワークステーションを作成した場合、バンドル ファイルは /var/lib/gke/bundles/ にあります。ファイル名は Google Distributed Cloud のバージョンによって異なります（例: gke-onprem-vsphere-1.31.0-gke.889-full.tgz）。
    • COMPONENT_ACCESS_SA_PATH: コンポーネント アクセス サービス アカウントのキーファイルのパス。
    • CONNECT_REGISTER_SA_PATH: connect-register サービス アカウントの鍵ファイルのパス。
    • LOG_MON_SA_PATH: ロギング モニタリング サービス アカウントの鍵ファイルのパス。
    • CLOUD_AUDIT_SA_PATH: 監査ロギング サービス アカウントのパス。監査ロギング サービス アカウントを作成していない場合は、logging-monitoring サービス アカウントのキーファイルのパスを指定します。

    必要に応じて、次のフラグに合わせてコマンドを変更します。

    • main.tf でフォルダを指定した場合は、次のフラグを追加します。--vcenter-folder=FOLDER
    • main.tf で VM ストレージ ポリシーを指定した場合は、--vcenter-datastore を削除し、次のフラグを追加します。--vcenter-storage-policy-name=STORAGE_POLICY_NAME

    フラグを追加する場合は、コマンドライン継続バックスラッシュ文字（\）を追加してください。

  4. プロンプトが表示されたら、vCenter のユーザー名を入力します（またはコピーして貼り付けます）。ユーザー名が画面にエコーバックされない。

  5. プロンプトが表示されたら、vCenter パスワードを入力します（またはコピーして貼り付けます）。パスワードが画面にエコーバックされません。

このコマンドは、多数の検証を実行します。gkectl がブートストラップ クラスタの作成に成功すると、次のような出力が表示されます（読みやすさのために短くしています）。

Running workstation validations
- Validation Category: Workstation
    - [SUCCESS] Workstation OS
    - [SUCCESS] Workstation Hardware
    - [SUCCESS] Workstation Package
    - [SUCCESS] Workstation NTP
    - [SUCCESS] Workstation Docker
...
All validation results were SUCCESS.
Unpacking GKE on-prem bundle: /var/lib/gke/bundles/gke-onprem-vsphere-1.31.0-gke.889-full.tgz
...
Successfully created and registered the bootstrap cluster
...
Waiting for preflight checks to run or OnPremAdminCluster to be applied...... -

このプロセスは、管理クラスタが作成されるまで実行されます。

管理クラスタが作成される前に gkectl register bootstrap コマンドを終了すると、管理クラスタの作成に失敗します。次のコマンドを使用してブートストラップ クラスタを削除する必要があります。

gkectl delete bootstrap \
    --target-cluster-name=ADMIN_CLUSTER_NAME \
    --project-id=PROJECT_ID \
    --location=REGION \
     --register-service-account-key-path=CONNECT_REGISTER_SA_PATH

管理クラスタを作成する

Terraform プランを適用して、管理クラスタを作成します。

terraform apply "tfplan"

管理クラスタの作成には 15 分以上かかります。クラスタは、Google Cloud コンソールの [GKE クラスタ] ページで確認できます。

トラブルシューティング

クラスタの作成とアップグレードに対するトラブルシューティングをご覧ください。

次のステップ

ユーザー クラスタを作成する