インシデントと Google Cloud Service Health

注: 2022 年 3 月 24 日より前まで、Google Cloud Service Health は Google Cloud ステータス ダッシュボードと呼ばれていました。

Google Cloud プロダクトの状態を常に把握するには、以下を確認します。

• Personalized Service Health - プロジェクトまたは組織全体で使用されている Google Cloud プロダクトとリージョンのパーソナライズされたビューを提供します。プロジェクトとリソースに影響する可能性がある、アクティブな Google Cloud インシデントや過去のインシデントに関する通知については、Personalized Service Health を確認します。

  Personalized Service Health には、次の方法でアクセスできます。

  • コンソール ダッシュボード。Google Cloud コンソールからアクセスできます。
  • アラート
  • Service Health API

• Google Cloud Service Health - Google Cloud リージョン全体のすべての Google Cloud プロダクトの健全性をプラットフォーム全体で確認できます。すべてのユーザーが利用できます。広範な影響がある Google Cloud のインシデントに関する情報を提供します。

  Google Cloud Service Health には、次の方法でアクセスできます。

  • Google Cloud Service Health ダッシュボード
  • RSS フィード

特定のプロダクトでサービス停止に直面した場合、最初に Personalized Service Health を使用します。Personalized Service Health には、Google Cloud のお客様が利用できる最新情報が常に表示されます。Personal Service Health と、インシデント管理ワークフローへの統合方法の詳細をご覧ください。

Google Cloud コンソールの [サポート] ページで、アクティブな中断がないか確認することもできます。Google Cloud コンソールの [サポート] ページに表示される既知の問題には、軽微で限定的なインシデントも含まれています。 既知の問題に関するページを使用すると、投稿されたインシデントからサポートケースを作成できます。これにより、定期的に最新情報を入手できるだけでなく、サポート スタッフに問い合わせることもできます。インシデントに該当しない問題や、サポート スタッフと直接やり取りする必要がある問題には、サポートケースの使用が適しています。プレミアム、エンハンスト、スタンダード サポートをご利用の場合は、Google Cloud コンソールでサポートケースを作成してインシデントを報告できます。それ以外の場合は、こちらのフォームを使用できます。

このドキュメントでは、Google Cloud Service Health について説明します。

Google Cloud Service Health とは

Google Cloud Service Health には、リージョンとグローバル ロケール別に分類された Google Cloud プロダクトのステータス情報が表示されます。この情報には、プロダクトの中断、停止、一時的な問題に関する情報メッセージなどが含まれます。

Google Cloud Service Health は、Personalized Service Health 自体が利用できない場合や、停止の影響を受ける場合、または影響を受けるプロダクトがまだ Personalized Service Health にオンボーディングされていないという、まれな状況で利用できるように設計されています。

Google Cloud Service Health にインシデントが表示されるタイミング

ほとんどの Google Cloud インシデントでは、影響を受けるお客様は、Google Cloud コンソールの Personalized Service Health から直接インシデントに関する通知を受け取ります。アラート条件を満たしている場合、これらのインシデントは、構成した Service Health アラートもトリガーします。

次のいずれかの条件を満たすインシデントは、Google Cloud Service Health に表示されます。

• 重大な一般向けインシデント
• Personalized Service Health でまだ利用できない Google Cloud プロダクトのインシデント
• Personalized Service Health ダッシュボードを使用できないときに発生するインシデント

重大インシデント

Google Cloud では、インシデントが次のすべての条件を満たす場合、インシデントを重大なインシデントとして定義します。

• 高スコープ - インシデントがグローバルに与える影響、または 1 つ以上のリージョンでお客様のプロジェクトの大部分に影響していること。
• 高重大度 - 1 つ以上のサービスが利用できないか、大幅に低下している。

重大インシデントが発生するのはまれですが、発生した場合、Google では迅速に対応し、問題の解決を試みます。

重大なインシデント中に、問題のステータスが Google Cloud Service Health ダッシュボードに表示されます。 重大インシデントは、ステータス ダッシュボードに「 サービス停止」としてマークされます。問題が解決したら、インシデントの原因となった要因の詳細と、このようなインシデントの再発防止策を含む一般公開のインシデント レポートを公開します。

範囲が限定されたインシデントの場合、非公開レポートが提供されることがあります。

インシデントのライフサイクル

プロダクトの品質低下が検出されると、Google Cloud サポートチームとプロダクト エンジニアリング チームが協力してインシデントを解決し、最新情報をお客様にお知らせします。

次の図は、プロダクト エンジニアリング チームとサポートチームの責任を示しています。

これらの責任の詳細については、以降のセクションをご覧ください。

検出

Google Cloud ではインシデントを検出するために内部でブラック ボックス モニタリングを使用しています。詳しくは、Google の書籍『Site Reliability Engineering』の第 6 章をご覧ください。

初期対応

インシデントが検出されると、Google Cloud カスタマーケア チームがお客様とのコミュニケーションを管理します。通常、インシデントの最初の通知には多くの情報は含まれません。該当するプロダクトのみが記載されていることもよくあります。これは、詳細よりも迅速な通知を優先しているためです。詳細は、以降のアップデートで提供できます。

できるだけ多くの情報を提供するとともに、お客様に関連のない問題まで報告しないよう、問題の影響範囲と重大度に応じて通信チャネルを使い分けています。

調査

インシデントの根本原因の調査は、プロダクト エンジニアリング チームが担当します。通常、インシデントの管理はサイト信頼性エンジニアが行いますが、状況とプロダクトによってはソフトウェア エンジニアや他の担当者が行うこともあります。詳しくは、Google の書籍『Site Reliability Engineering』の第 12 章をご覧ください。

緩和策と修正

問題が解決したとみなされるのは、Google が確信を持って行った変更により、問題の影響が完全になくなった場合のみです。たとえば、インシデントの原因となった変更をロールバックして解決する場合もあります。

インシデントが継続している間は、カスタマーケアとプロダクト チームが問題の軽減を試みます。問題の軽減により、その影響や範囲を小さくできる可能性があります。たとえば、負荷によってパフォーマンスが低下しているプロダクトに一時的にリソースを追加するなどして問題を軽減します。

問題の軽減が見られない場合、可能であれば、カスタマーケア チームが回避策を見つけて連絡します。回避策とは、インシデントがあっても基本的なニーズを満たすために講じることができる対策を指します。たとえば、問題のあるコードパスを避けるために API 呼び出しに異なる設定を使用するといった回避策があります。

フォローアップ

インシデントが継続している間は、カスタマーケア チームが定期的な更新情報を提供します。通常は、次の情報が提供されます。

• インシデントに関する詳細。エラー メッセージ、影響を受けるゾーン / リージョン、影響を受ける機能、影響の割合などです。

• 問題軽減に向けた進捗状況。これには回避策も含まれます。

• 連絡のタイムライン。インシデントに合わせて調整されます。

• ステータスの変更。インシデントが解決された場合などにステータスが変更されます。

Postmortem

インシデントを完全に把握し、信頼性に関して Google が行える改善策を特定するために、すべてのインシデントは社内でポストモーテムされます。事後分析によって特定された改善策が追跡および実装されます。Google での事後分析について詳しくは、Google の書籍『Site Reliability Engineering』の第 15 章をご覧ください。

インシデント報告書

広範囲にわたり深刻な影響を与えるインシデントの場合、Google は、その症状、影響、根本原因、是正措置、今後のインシデント防止策をまとめたインシデント報告書をリリースします。事後分析と同じく、Google が特に注意を向けるのは、問題から学び、信頼性を改善するために講じる措置です。 Google が事後分析を作成してリリースする上での目標は、透明性を維持し、お客様向けの安定したプロダクトを構築するという Google の取り組みを明らかにすることにあります。

インシデント データモデル

インシデントが 1 つ以上のロケーションの 1 つ以上のサービスに影響している。インシデントには開始時間と終了時間、全体的な重大度があります。インシデントにはアップデートがあり、ステータスと影響を受けるロケーションなど、インシデントの経時的な変化が示されます。インシデント情報は JSON スキーマで利用できます。

JSON スキーマには、Stable と Unstable とマークされたフィールドがあります。一般に、ID フィールドは Stable と見なされます。一方、表示名などのフィールドは Unstable と見なされ、警告なしに変更されることがあります。[Stable] フィールドは、外部システムまたはビル自動化と統合する場合にのみ使用します。Google Cloud Service Health ダッシュボードに表示されるデータをプログラムで統合して使用できますか？をご覧ください。

よくある質問

過去のプロダクトの中断と停止に関する情報はどこで調べることができますか？

Google Cloud Service Health は、Google Cloud プロダクトの中断と停止の情報を最長 5 年間保持します。ダッシュボードの [概要] タブに、ロケールごとのプロダクトの現在のステータスが表示されます。昨年のプロダクトの中断と停止に関する情報を表示するには、ダッシュボードで [履歴を表示] をクリックします。過去 5 年間のプロダクトの停止履歴を表示するには、そのプロダクトの [もっと見る] をクリックします。

Google Cloud プロダクトの地域ごとのステータス情報を表示するにはどうすればよいですか？

Google Cloud Service Health には、すべての Google Cloud プロダクトのステータスがリージョンとグローバル ロケール別に表示されます。マルチリージョンのステータスを表示するには、リージョン固有のタブを選択します。

Google Cloud Service Health に表示されるデータをプログラムで統合して使用できますか？

はい。Google Cloud Service Health に表示されるデータは、次の方法で使用できます。

• RSS フィードを使用する

• JSON の履歴ファイルを使用する

  JSON ファイルのスキーマはこちらからダウンロードできます。

RSS フィードと JSON 履歴ファイルには、統合で利用できるインシデント ステータス情報が含まれています。

JSON 履歴ファイルで、Unstable とマークされたフィールドではなく、Stable とマークされたフィールドを使用します。例えば、特定のプロダクト セットに影響するインシデントをプログラムで特定する場合は、表示名ではなく商品 ID（affected_products>id）を使用します。

商品 ID と商品名

Google Cloud Service Health ダッシュボードには、これまで特定のプロダクトの ID を特定するメカニズムは提供されていませんでした。2023 年初め以降、Google Cloud Service Health では、すべてのプロダクトのマッピングを提供するプロダクト カタログが利用可能になりました。商品 ID は安定したフィールドで、これに基づき、商品の表示名は変更することができます。一連のプロダクトに影響しているインシデントをプログラムで特定する場合は、商品 ID を参照することをおすすめします。

リージョン別のステータス レポートの導入と Google Cloud Service Health ダッシュボードの名称変更を行う前に、Google Cloud Service Health に基づいて事前に構築された統合がある場合はどうすればよいですか？

RSS フィードと JSON ファイルの両方で、リージョン ステータス情報は、リージョン ステータス レポートの導入と Google Cloud Service Health 名の変更前にすでに公開されていた情報に追加されます。既存の統合は引き続き機能します。ただし、統合を介してリージョン ステータス情報を使用する場合は、変更する必要があります。

ここでは、RSS フィードと JSON ファイルの両方でリージョンの情報を表示する方法について詳しく説明します。

• RSS フィード

  リージョン ステータス情報は、リージョン ステータスの導入前に提供されたフィード情報に新たに追加されたものです。影響を受けたと報告された場所は RSS メッセージに追加されます。

• JSON ファイル

  リージョン ステータスの更新前は、Google Cloud でインシデントのストリームを公開しました。各インシデントには、影響を受けるプロダクトのリストと、それぞれのステータスの更新のリスト（存在する場合）が含まれていました。これらのステータス更新には、位置情報を含む、または含まない非構造化文字列フィールドが含まれていました。

  現在、Google Cloud では、これまでと同様にインシデントのストリームが公開されています。ただし、インシデントごとに、ステータスが更新されるたびに次の新しいフィールドが含まれます。

  • updates.affected_locations: 更新の投稿時点で影響を受けるロケーションのリストが構造化されています。すべての更新レコードと most_recent_update レコードにこのフィールドが含まれます。
  • currently_affected_locations: インシデントの影響を受けるアクティブ ロケーションに関する最新情報が含まれています。updates.affected_locations とは異なり、このリストはインシデントが解決された後（つまり、end が空でない値に設定されたとき）に空になります。
  • previously_affected_locations: 以前にインシデントの影響を受けていたものの、現在は影響を受けていないロケーションのリストが含まれます。インシデントの進捗状況によっては、一部のロケーションでサービス停止の解決が継続される場合があります。これらのロケーションは、previously_affected_locations field に引き続き存在します。インシデントが解決されると（つまり、end が空値でない場合）、このフィールドにはインシデントの影響を受けるすべてのロケーションのリストが含まれます。

ダッシュボードにリストされていない問題が発生した場合はどうすればよいですか？

Google Cloud Service Health ダッシュボードには、Google Cloud プロダクトとサービスに影響する重大なインシデントの現在のステータスと過去のステータス情報が表示されます。ダッシュボードに表示されない問題が発生している場合は、その問題がプロジェクトまたはインスタンスだけで発生しているか、一部の顧客のみに影響する可能性があります。範囲が狭いインシデントは、カスタマーケア ポータルに表示される場合があります。ダッシュボードにリストされていない問題が発生した場合は、その問題についてカスタマーケアにお問い合わせください。

すでに [Personalized Service Health] ダッシュボードを使用している場合は、問題がここに表示されているかどうかを調べて、プロジェクトやインスタンスが影響を受けるかどうかを確認します。

Google Cloud コンソールを使用している場合、右上隅にあるフィードバックの送信ツールをクリックすると、問題を報告できます。

ダッシュボードを更新しているのは誰ですか？

全世界のカスタマーケア チームが、さまざまな種類のシグナルを使用してプロダクトのステータスをモニタリングし、広範囲で問題が発生した場合はダッシュボードを更新します。また、必要に応じて、インシデントの解決後に詳細なインシデント解析レポートを投稿します。