Google の主要なサポート目標は、本番環境でのインシデントをできるだけ迅速に解決することです。お客様の構成を把握し、ログと指標を分析して、パートナーと協力することにより、インシデントを迅速に解決できます。
Google Cloud は、さまざまなサポート パッケージを備えており、お客様のサポートニーズにお応えします。すべての Google Cloud サポート パッケージには、Google Kubernetes Engine（GKE）Enterprise エディションと GKE on Bare Metal のサポートが含まれています。既存の Google Cloud サポート パッケージをお持ちの場合は、GKE Enterprise と GKE on Bare Metal のサポートがすでに含まれています。
詳細については、Google Cloud サポートのドキュメントをご覧ください。
GKE on Bare Metal のサポートの要件
ビジネス クリティカルなインシデントを効果的にトラブルシューティングするには:
- ご利用の環境が現行バージョンで、公開されているサポート期間内であることを確認します。詳細については、バージョン サポート ポリシーをご覧ください。
- システム コンポーネントに対する Cloud Logging と Cloud Monitoring を有効にします。詳細は、次のサポートツール セクションをご覧ください。
サポートツール
GKE on Bare Metal インシデントのトラブルシューティングでは、Google Cloud サポートで、次の 3 つの情報を使用します。
環境の構成
サポートケースを登録するにあたり、次のコマンドを実行するとクラスタの設定に関する重要な情報を取得できます。
すべてのクラスタタイプで、
bmctl check cluster --snapshotコマンドを実行して Kubernetes とノードに関する情報を取得します。生成された tar ファイルをサポートケースに添付してください。管理クラスタ、ハイブリッド クラスタ、スタンドアロン クラスタの場合は、
bmctl check clusterコマンドを実行してクラスタとノードのステータスを確認します。生成されたログをサポートケースに添付してください。ログはbmctl-workspace/[CLUSTER_NAME]/log/check-cluster-[TIMESTAMP]ディレクトリの下にあります。ユーザー クラスタの場合は、まずクラスタ名と名前空間を含むヘルスチェック YAML ファイルを作成し、次に適切な管理クラスタにファイルを適用します。
次の
healthcheckプロパティが記述された YAML ファイルを作成します。cluster-user1名前空間のuser1という名前のクラスタに対する記述例を、次に示します。apiVersion: baremetal.cluster.gke.io/v1 kind: HealthCheck metadata: generateName: healthcheck- namespace: cluster-user1 spec: clusterName: user1YAML ファイルを作成したら、
kubectlコマンドを使用して、ユーザー クラスタを管理する管理クラスタにその YAML ファイルを適用します。前の手順で作成した YAML ファイルを使用したコマンドの例を次に示します。この例では、ADMIN_KUBECONFIG変数は管理クラスタの kubeconfig ファイルのパスを指定します。kubectl --kubeconfig ADMIN_KUBECONFIG create -f healthcheck-user1.yamlこのコマンドは、次のレスポンスを返します。
healthcheck.baremetal.cluster.gke.io/healthcheck-7c4qf createdヘルスチェック ジョブの調整が終了したかどうかを確認するテストを実施し、ヘルスチェック ジョブが完了するのを待ちます。上記の例では、ヘルスチェック ジョブの名前は
healthcheck.baremetal.cluster.gke.io/healthcheck-7c4qfです。kubectlコマンドを使用したテストの例を次に示します。これは、ヘルスチェック ジョブが完了するまで 30 分待機します。kubectl --kubeconfig ADMIN_KUBECONFIG wait healthcheck healthcheck-7c4qf \ -n cluster-user1 --for=condition=Reconciling=False --timeout=30m完了すると、このコマンドは次の情報を返します。
healthcheck.baremetal.cluster.gke.io/healthcheck-7c4qf condition metヘルスチェック ジョブの結果は、次のコマンドで表示されます。
kubectl --kubeconfig ADMIN_KUBECONFIG get healthcheck healthcheck-7c4qf \ -n cluster-user1このコマンドは、次の結果を返します。
NAME PASS AGE healthcheck-7c4qf true 17mkubectlコマンドを使用して、ヘルスチェック ジョブの Pod のログをすべてローカル ファイルに収集します。前述のサンプル ヘルスチェック ジョブを使用した例を次に示します。kubectl --kubeconfig ADMIN_KUBECONFIG logs -n cluster-user1 \ -l baremetal.cluster.gke.io/check-name=healthcheck-7c4qf --tail=-1 > \ healthcheck-7c4qf.log
クラスタログ
新しい GKE on Bare Metal クラスタを作成すると、Cloud Logging エージェントがデフォルトで有効になり、システムレベルのコンポーネントのみを対象とします。これにより、クラスタに関連付けられた Google Cloud プロジェクトにシステムレベルのログが複製されます。システムレベルのログは、次の Namespace にある Kubernetes Pod から取得されます。
kube-systemgke-systemgke-connectistio-systemconfig-management-systemgatekeeper-systemcnrm-systemknative-serving
Cloud Logging コンソールからクエリを実行してログを取得できます。
詳細については、ロギングとモニタリングをご覧ください。
Google Cloud CLI とリモートでのクラスタ アクセス
サポートケースを開くと、Cloud カスタマーケアから、問題をより効果的に診断して解決するために、クラスタへのリモートによる読み取り専用アクセス権が求められることがあります。サポートチームがクラスタの問題をリモートでトラブルシューティングするのに十分なアクセス権を得るには、Google Cloud CLI の最新バージョンがインストールされていることを確認してください。Cloud カスタマーケアに必要な権限を付与するには、Google Cloud CLI をバージョン 401.0.0 以降にする必要があります。Google Cloud CLI を定期的に更新して、追加された権限やその他の機能強化を利用できるようにしておくことをおすすめします。
gcloud CLI の最新のコンポーネントをインストールするには、gcloud
components update コマンドを使用します。クラスタへのリモート 読み取り専用アクセスを Cloud カスタマーケアに付与する方法については、Google Cloud サポートによる登録済みクラスタに関するサポートをご覧ください。
クラスタ指標
ログに加えて、Cloud Monitoring エージェントは指標もキャプチャします。 これにより、クラスタに関連付けられた Google Cloud プロジェクトにシステムレベルの指標が複製されます。システムレベルの指標は、ログに記載されているものと同じ Namespace で実行されている Kubernetes Pod から取得されます。
詳細については、ロギングとモニタリングをご覧ください。
環境のトラブルシューティング方法
一般的なサポート インシデントの例を次に示します。
クラスタ管理者が Google Cloud コンソールまたは Google Cloud サポート センターでサポートケースを開き、Google Kubernetes Engine（GKE）Enterprise エディションと GKE on Bare Metal をそれぞれカテゴリとコンポーネントとして選択します。必要な情報を入力し、関連する
bmctlコマンドの出力をケースに添付します。サポートケースは、GKE on Bare Metal を専門とするテクニカル サポート エンジニアに転送されます。
サポート エンジニアはスナップショットの内容を調べ、環境のコンテキストを取得します。
サポート エンジニアは、Google Cloud プロジェクトのログと指標を調べて、業務上の正当な理由としてサポートケース ID を入力します。これは、内部でログに記録されます。
サポート エンジニアは、ケースに評価と推奨事項を返信します。サポート エンジニアとユーザーは、解決するまでトラブルシューティングを続けます。
Google のサポート範囲
一般に、Cloud サポートチームは、GKE on Bare Metal と Anthos Service Mesh、Policy Controller、Config Sync、Config Controller の一部として配布されるすべてのソフトウェア コンポーネントをサポートしています。以下の表に、サポートされている機能とサポートされていない機能を示します。
| Google Cloud のサポート対象 | サポート対象外 |
|---|---|
| Kubernetes とコンテナ ランタイム | お客様が選択したロードバランサ（手動負荷分散） |
| Connect と Connect Agent | 顧客コード（デベロッパー サポートを参照） |
| Google Cloud Operations、Monitoring、Logging、エージェント | お客様が選択したオペレーティング システム |
| バンドルされたロードバランサ | 物理サーバー、仮想サーバー、ストレージ、ネットワーク |
| Ingress コントローラ | 外部の DNS、DHCP、ID システム |
| GKE Identity Service | |
| Anthos Service Mesh | |
| Policy Controller | |
| Config Sync | |
| Config Controller |
バージョンのサポート ポリシー
GKE on Bare Metal のサポートは、Google Kubernetes Engine（GKE）Enterprise エディションのバージョン サポート ポリシーに従って提供されます。Google Kubernetes Engine（GKE）Enterprise エディション バージョン 1.14 以降、Google は各マイナー バージョンの最初のリリースから 12 か月間、または後続の 3 番目のマイナー バージョンのリリースまでのいずれか長い期間にわたって、GKE on Bare Metal の各マイナー バージョンをサポートします。
次の表に、このプロダクトでサポートされているバージョンとサポートされていないバージョンを示します。
| マイナー バージョン | リリース日 | 最も早いサポート終了日 | 利用可能なパッチ | Kubernetes のバージョン |
|---|---|---|---|---|
| 1.28（最新） | 2023 年 12 月 15 日 | 2024 年 12 月 15 日 | 1.28.400-gke.77 | v1.28.7-gke.1700 |
| 1.28.300-gke.131 | v1.28.7-gke.1700 | |||
| 1.28.200-gke.118 | v1.28.5-gke.1200 | |||
| 1.28.100-gke.146 | v1.28.5-gke.1200 | |||
| 1.28.0-gke.435 | v1.28.3-gke.700 | |||
| 1.16 | 2023 年 8 月 25 日 | 2024 年 8 月 25 日 | 1.16.8 | v1.27.12-gke.800 |
| 1.16.7 | v1.27.10-gke.500 | |||
| 1.16.6 | v1.27.9-gke.1200 | |||
| 1.16.5 | v1.27.8-gke.1500 | |||
| 1.16.4 | v1.27.7-gke.1400 | |||
| 1.16.3 | v1.27.6-gke.2500 | |||
| 1.16.2 | v1.27.4-gke.1600 | |||
| 1.16.1 | v1.27.4-gke.1600 | |||
| 1.16.0 | v1.27.4-gke.1600 | |||
| 1.15 | 2023 年 4 月 27 日 | 2024 年 4 月 27 日 | 1.15.11 | v1.26.13-gke.1100 |
| 1.15.10 | v1.26.13-gke.400 | |||
| 1.15.9 | v1.26.12-gke.1200 | |||
| 1.15.8 | v1.26.10-gke.1400 | |||
| 1.15.7 | v1.26.9-gke.2400 | |||
| 1.15.6 | v1.26.8-gke.200 | |||
| 1.15.5 | v1.26.8-gke.200 | |||
| 1.15.4 | v1.26.5-gke.2100 | |||
| 1.15.3 | v1.26.5-gke.2100 | |||
| 1.15.2 | v1.26.5-gke.1200 | |||
| 1.15.1 | v1.26.2-gke.1001 | |||
| 1.15.0 | v1.26.2-gke.1001 | |||
| 1.14（サポート対象外） | 2022 年 12 月 8 日 | 2023 年 12 月 8 日 | 1.14.11 | v1.25.14-gke.2400 |
| 1.14.10 | v1.25.14-gke.2400 | |||
| 1.14.9 | v1.25.13-gke.200 | |||
| 1.14.8 | v1.25.10-gke.2100 | |||
| 1.14.7 | v1.25.10-gke.2100 | |||
| 1.14.6 | v1.25.10-gke.1200 | |||
| 1.14.5 | v1.25.7-gke.1000 | |||
| 1.14.4 | v1.25.7-gke.1000 | |||
| 1.14.3 | v1.25.6-gke.1000 | |||
| 1.14.2 | v1.25.5-gke.1001 | |||
| 1.14.1 | v1.25.5-gke.1001 | |||
| 1.14.0 | v1.25.3-gke.1400 | |||
| 1.13（サポート対象外） | 2022 年 9 月 29 日 | 2023 年 8 月 17 日 | 1.13.10 | v1.24.14-gke.2100 |
| 1.13.9 | v1.24.14-gke.1200 | |||
| 1.13.8 | v1.24.11-gke.1000 | |||
| 1.13.7 | v1.24.11-gke.1000 | |||
| 1.13.6 | v1.24.9-gke.2500 | |||
| 1.13.5 | v1.24.9-gke.2500 | |||
| 1.13.4 | v1.24.9-gke.2500 | |||
| 1.13.3 | v1.24.7-gke.1700 | |||
| 1.13.2 | v1.24.7-gke.300 | |||
| 1.13.1 | v1.24.5-gke.400 | |||
| 1.13.0 | v1.24.2-gke.1900 | |||
| 1.12（サポート対象外） | 2022 年 6 月 29 日 | 2023 年 3 月 29 日 | 1.12.9 | v1.23.17-gke.300 |
| 1.12.8 | v1.23.16-gke.100 | |||
| 1.12.7 | v1.23.15-gke.2400 | |||
| 1.12.6 | v1.23.13-gke.1700 | |||
| 1.12.5 | v1.23.13-gke.1700 | |||
| 1.12.4 | v1.23.11-gke.500 | |||
| 1.12.3 | v1.23.10-gke.1000 | |||
| 1.12.2 | v1.23.5-gke.1505 | |||
| 1.12.1 | v1.23.5-gke.1505 | |||
| 1.12.0 | v1.23.5-gke.1504 | |||
| 1.11（サポート対象外） | 2022 年 3 月 21 日 | 2022 年 12 月 21 日 | 1.11.8 | v1.22.15-gke.3300 |
| 1.11.7 | v1.22.14-gke.500 | |||
| 1.11.6 | v1.22.8-gke.204 | |||
| 1.11.5 | v1.22.8-gke.204 | |||
| 1.11.4 | v1.22.8-gke.204 | |||
| 1.11.3 | v1.22.8-gke.203 | |||
| 1.11.2 | v1.22.8-gke.200 | |||
| 1.11.1 | v1.22.8-gke.200 | |||
| 1.11.0 | v1.22.8-gke.200 | |||
| 1.10（サポート対象外） | 2021 年 12 月 10 日 | 2022 年 9 月 10 日 | 1.10.8 | v1.21.13-gke.202 |
| 1.10.7 | v1.21.13-gke.202 | |||
| 1.10.6 | v1.21.13-gke.201 | |||
| 1.10.5 | v1.21.6-gke.1503 | |||
| 1.10.4 | v1.21.6-gke.1503 | |||
| 1.10.3 | v1.21.5-gke.1300 | |||
| 1.10.2 | v1.21.5-gke.1300 | |||
| 1.10.1 | v1.21.5-gke.1200 | |||
| 1.10.0 | v1.21.5-gke.1200 | |||
| 1.9（サポート対象外） | 2021 年 9 月 23 日 | 2022 年 6 月 23 日 | 1.9.8 | v1.21.13-gke.200 |
| 1.9.7 | v1.21.6-gke.1503 | |||
| 1.9.6 | v1.21.5-gke.1300 | |||
| 1.9.5 | v1.21.5-gke.1300 | |||
| 1.9.4 | v1.21.5-gke.1200 | |||
| 1.9.3 | v1.21.5-gke.1200 | |||
| 1.9.2 | v1.21.4-gke.201 | |||
| 1.9.1 | v1.21.4-gke.201 | |||
| 1.9.0 | v1.21.4-gke.200 | |||
| 1.8（サポート対象外） | 2021 年 6 月 21 日 | 2022 年 3 月 21 日 | 1.8.9 | v1.20.9-gke.102 |
| 1.8.8 | v1.20.9-gke.102 | |||
| 1.8.7 | v1.20.9-gke.102 | |||
| 1.8.6 | v1.20.9-gke.102 | |||
| 1.8.5 | v1.20.9-gke.102 | |||
| 1.8.4 | v1.20.9-gke.101 | |||
| 1.8.3 | v1.20.9-gke.101 | |||
| 1.8.2 | v1.20.8-gke.1500 | |||
| 1.8.1 | v1.20.5-gke.1301 | |||
| 1.8.0 | v1.20.5-gke.1301 | |||
| 1.7（サポート対象外） | 2021 年 3 月 25 日 | 2021 年 12 月 25 日 | 1.7.7 | v1.19.14-gke.2201 |
| 1.7.6 | v1.19.14-gke.2201 | |||
| 1.7.5 | v1.19.14-gke.2201 | |||
| 1.7.4 | v1.19.14-gke.400 | |||
| 1.7.3 | v1.19.13-gke.100 | |||
| 1.7.2 | v1.19.10-gke.1602 | |||
| 1.7.1 | v1.19.7-gke.1200 | |||
| 1.7.0 | v1.19.7-gke.1200 | |||
| 1.6（サポート対象外） | 2020 年 11 月 30 日 | 2021 年 8 月 30 日 | 1.6.4 | v1.18.20-gke.3000 |
| 1.6.3 | v1.18.18-gke.100 | |||
| 1.6.2 | v1.18.6-gke.6600 | |||
| 1.6.1 | v1.18.6-gke.6600 | |||
| 1.6.0 | v1.18.6-gke.6600 |
サポートされている機能
このドキュメントでは、サポート対象のリリースの GKE on Bare Metal の特徴と機能について説明します。この表は、すべてを網羅するものではありませんが、クラスタをサポートされている最新バージョンにアップグレードすることのいくつかの利点を示しています。
プレビュー版として表示されている機能には、Google Cloud 利用規約の Pre-GA サービス規約が適用されます。一般提供前のプロダクトと機能では、サポートが制限されることがあります。また、一般提供前のプロダクトや機能の変更は、他の一般提供前のバージョンと互換性がない場合があります。詳細については、リリース ステージの説明をご覧ください。プレビュー版のサービスは、テスト環境のみで使用することを前提としています。
一般提供（GA）としてリストされた機能は完全にサポートされており、すべてのお客様に公開され、本番環境で使用できる状態になっています。
| 機能 / 性能 | 1.15（サポート対象外） | 1.16 | 1.28 | 1.29（最新） |
|---|---|---|---|---|
| 複数のユーザー クラスタ バージョンに対する管理クラスタのサポート | - | - | - | プレビュー |
| アラート ポリシー | プレビュー | プレビュー | プレビュー | プレビュー |
| Google Distributed Cloud 上の VM ランタイム | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| Azure Active Directory（AD）グループ | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| BGP ベース ロードバランサの IPv6 のサポート | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| Binary Authorization | プレビュー | 一般提供 | 一般提供 | 一般提供 |
| BGP によるバンドル型負荷分散 | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| Cloud Audit Logging | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| クラスタのバックアップと復元の CLI サポート | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| クラスタ認証局（CA）のローテーション | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| クラスタノード リセット CLI サポート | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| クラスタ アップグレードの一時停止と再開 | - | - | プレビュー | プレビュー |
| containerd コンテナ ランタイム | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| コントロール グループ v2 | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| カスタム認証局 | - | プレビュー | 一般提供 | 一般提供 |
| Dataplane V2 Direct Server Return（DSR）ロード バランシング転送モード | - | プレビュー | 一般提供 | 一般提供 |
| Border Gateway Protocol（BGP）を使用した動的フラット IP | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| 下り（外向き）NAT ゲートウェイ | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| フラット IPv4 モード（静的） | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| フラット IPv6 サポート（BGP モード） | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| GKE ID サービス v2 | - | - | プレビュー | 一般提供 |
| IPv4 / IPv6 デュアル スタック | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| KSA サポート | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| Google Cloud Managed Service for Prometheus 向けマネージド コレクタ | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| マルチクラスタ接続 | プレビュー | プレビュー | プレビュー | プレビュー |
| Pod のマルチ NIC | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| GDC 用ネットワーク ゲートウェイ | プレビュー | プレビュー | プレビュー | プレビュー |
| ノードの問題の検出機能 | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| 並列ノードのアップグレード | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| ノードプールの並列アップグレード | プレビュー | 一般提供 | 一般提供 | 一般提供 |
| Performance Tuning Operator | - | プレビュー | プレビュー | プレビュー |
| ノードの限定公開レジストリのサポート | - | - | - | プレビュー |
| レジストリ ミラーのサポート | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| セキュア コンピューティング モード（seccomp） | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| ノードプールのバージョン アップグレードをスキップする | - | - | プレビュー | 一般提供 |
| SR-IOV ネットワーキング | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| API 指標の概要 | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
| VPC Service Controls | プレビュー | 一般提供 | 一般提供 | 一般提供 |
| ワーカー ノードプールのアップグレード ロールバック | - | - | - | プレビュー |
| Workload Identity | 一般提供 | 一般提供 | 一般提供 | 一般提供 |
共有責任モデル
GKE on Bare Metal でビジネス クリティカルな本番環境アプリケーションを実行する場合は、複数の関係者がそれぞれの責任を果たす必要があります。以下のセクションでは、一部の役割と責任について説明します。
Google の責任
- GKE on Bare Metal ソフトウェア パッケージのメンテナンスと配布。
- GKE on Bare Metal の利用可能なアップグレードに関するユーザーへの通知と、前のバージョン用のアップグレード スクリプトの作成。GKE on Bare Metal は、順次アップグレードのみをサポートします（例: 1.2 → 1.3 → 1.4 がサポートされ、1.2 → 1.4 はサポートされません）。
- Connect サービスと Cloud Operations サービスの運用
- Google 提供のコンポーネントに関連するトラブルシューティング、回避策の提供、問題の根本原因の修正。
ユーザーの責任
- オンプレミス クラスタの全体的なシステム管理。
- クラスタにデプロイされたアプリケーション ワークロードのメンテナンス。
- データセンター インフラストラクチャ（ネットワーク、サーバー、オペレーティング システム、ストレージ、Google Cloud への接続など）の実行、保守、パッチ適用。
- 手動のロードバランサ オプションが採用されている場合、ネットワーク ロードバランサの実行、保守、パッチ適用。
- GKE on Bare Metal の定期的なアップグレード。
- クラスタとアプリケーションのモニタリング、およびインシデントへの対応。
- Cloud Operations エージェントのクラスタへの確実なデプロイ。
- トラブルシューティング目的での、Google への環境の詳細の提供。
デベロッパー サポート
Google では、デベロッパーのアプリケーション ワークロードに特化したサポートは提供していません。ただし、デベロッパーが GKE on Bare Metal 上でアプリケーションを簡単に実行できるように、ベスト エフォート型のデベロッパー サポートを提供しています。開発の段階での早期な取り組みにより、後のデプロイの段階での重大なインシデントを防ぐことができると Google は考えています。
このベスト エフォートのデベロッパー サポートは、有料サポート パッケージをご利用のお客様に提供されます。リリースに支障が生じる問題を優先度 P3、一般的な問い合わせを優先度 P4 として取り扱います。この分類では、優先度 0 が最高の優先度です。