インシデントと Google Cloud Service Health ダッシュボード

Google Cloud Service Health(CSH)ダッシュボードには、リージョンとグローバル ロケール別に分類された Google Cloud プロダクトのステータス情報が表示されます。

重大インシデント

重大インシデントの影響は次の 2 つ以上のシナリオに及びます。

  • 複数のサービス
  • 複数のリージョン
  • 複数時間
  • 複数のお客様

重大インシデントが発生するのはまれですが、発生した場合、Google では迅速に対応し、問題の解決を試みます。

重大インシデントの中、問題のステータスが Google Workspace ステータス ダッシュボードGoogle Cloud Service Health ダッシュボードに表示されます。重大インシデントは、ステータス ダッシュボードに「 サービス停止」としてマークされます。問題が解決したら、インシデントの原因となった要因の詳細と、このようなインシデントの再発防止策を含む一般公開のインシデント レポートを公開します。

範囲が限定されたインシデントの場合、非公開レポートが提供されることがあります。

インシデントのライフサイクル

プロダクトの品質低下が検出されると、Cloud カスタマーケア チームとプロダクト エンジニアリング チームが協力してインシデントを解決し、最新情報をお客様にお知らせします。

次の図は、プロダクト エンジニアリング チームとサポートチームの責任を示しています。

ライフサイクルの図

各責任の詳細については、次のセクションをご覧ください。

検出

Google Cloud ではインシデントを検出するために内部でブラック ボックス モニタリングを使用しています。詳しくは、Google の書籍『Site Reliability Engineering』の第 6 章をご覧ください。

プレミアム、エンハンスト、スタンダード サポートをご利用の場合は、Google Cloud コンソールでサポートケースを作成してインシデントを報告できます。それ以外の場合は、こちらのフォームを使用できます。

初期対応

インシデントが検出されると、カスタマーケア チームからお客様に連絡が届きます。通常、インシデントの最初の通知には多くの情報は含まれません。該当するプロダクトのみが記載されていることもよくあります。これは、詳細よりも迅速な通知を優先しているためです。詳細は、以降のアップデートで提供できます。

できるだけ多くの情報を提供するとともに、お客様に関連のない問題まで報告しないよう、問題の影響範囲と重大度に応じて通信チャネルを使い分けています。

通信チャネルの図

Google CSH ダッシュボードは、自分に影響する問題を発見したときに、最初に確認する場所です。このダッシュボードには多くのお客様に影響するインシデントが示されるので、ここに示されているインシデントが問題に関連している可能性が考えられます。重大度を示すために、ダッシュボードではインシデントを「中断」または「停止」のいずれかとしてマークしています。マイナーながらも広範囲に及ぶ問題は、一時的なお知らせとして掲載されます。

関連する Google Cloud プロダクトによりダッシュボードで問題が報告された場合、Google Cloud コンソールにもサービス停止の通知が表示されます。Google Cloud コンソールに停止通知が表示された場合は、通知をクリックすると問題のステータスについての詳細を確認できます。

一部の Google Cloud プロダクトには、ダッシュボードの新しいインシデントのお知らせと通知を受け取るために登録できる Google グループがあります。

Google Cloud サポート センターGoogle Cloud コンソールの [サポート] ページには、極めて包括的な既知の問題が表示されます。これらの問題には、ダッシュボード上に示される問題ほど多くのユーザーに影響しないものも含まれます。Google Cloud の問題が疑われる一方、ダッシュボード上に問題が見当たらない場合は、既知の問題のページを確認してください。

インシデントに該当しない問題や、サポート スタッフと直接やり取りする必要がある問題には、サポートケースの使用が適しています。既知の問題のページを使用してインシデントを投稿すると、サポートケースが作成されます。これにより、定期的に最新情報を入手できるだけでなく、サポート スタッフに問い合わせることもできます。

調査

インシデントの根本原因の調査は、プロダクト エンジニアリング チームが担当します。通常、インシデントの管理はサイト信頼性エンジニアが行いますが、状況とプロダクトによってはソフトウェア エンジニアや他の担当者が行うこともあります。詳しくは、Google の書籍『Site Reliability Engineering』の第 12 章をご覧ください。

軽減 / 解決

問題が解決したとみなされるのは、Google が確信を持って行った変更により、問題の影響が完全になくなった場合のみです。たとえば、インシデントの原因となった変更をロールバックして解決する場合もあります。

インシデントが継続している間は、カスタマーケアとプロダクト チームが問題の軽減を試みます。問題の軽減により、その影響や範囲を小さくできる可能性があります。たとえば、負荷によってパフォーマンスが低下しているプロダクトに一時的にリソースを追加するなどして問題を軽減します。

問題の軽減が見られない場合、可能であれば、カスタマーケア チームが回避策を見つけて連絡します。回避策とは、インシデントがあっても基本的なニーズを満たすために講じることができる対策を指します。たとえば、問題のあるコードパスを避けるために API 呼び出しに異なる設定を使用するといった回避策があります。

フォローアップ

インシデントが継続している間は、カスタマーケア チームが定期的な更新情報を提供します。通常は、次の情報が提供されます。

  • インシデントに関する詳細。エラー メッセージ、影響を受けるゾーン / リージョン、影響を受ける機能、影響の割合などが含まれます。

  • 問題軽減に向けた進捗状況。これには回避策も含まれます。

  • 連絡のタイムライン。インシデントに合わせて調整されます。

  • ステータスの変更。インシデントが解決された場合などにステータスが変更されます。

事後分析

インシデントを完全に把握し、信頼性に関して Google が行える改善策を特定するために、すべてのインシデントは社内で事後分析されます。事後分析によって特定された改善策が追跡および実装されます。Google での事後分析について詳しくは、Google の書籍『Site Reliability Engineering』の第 15 章をご覧ください。

インシデント報告書

広範囲にわたり深刻な影響を与えるインシデントの場合、Google は、その症状、影響、根本原因、是正措置、今後のインシデント防止策をまとめたインシデント報告書をリリースします。事後分析と同じく、Google が特に注意を向けるのは、問題から学び、信頼性を改善するために講じる措置です。Google が事後分析を作成してリリースする上での目標は、透明性を維持し、お客様向けの安定したプロダクトを構築するという Google の取り組みを明らかにすることにあります。

よくある質問

Google CSH ダッシュボードには、どのような種類のステータス情報が表示されますか?

Google CSH ダッシュボードには、Google Cloud に含まれるプロダクトのステータス情報が表示されます。ステータスには、プロダクトの中断、停止、一時的な問題に関する情報メッセージなどが含まれます。

過去のプロダクトの中断と停止に関する情報はどこで調べることができますか?

Google CSH ダッシュボードは、Google Cloud プロダクトの中断と停止の情報を最長 5 年間保持します。ダッシュボードの [概要] タブに、ロケールごとのプロダクトの現在のステータスが表示されます。昨年のプロダクトの中断と停止に関する情報を表示するには、ダッシュボードで [履歴を表示] をクリックします。過去 5 年間のプロダクトの停止履歴を表示するには、そのプロダクトの詳細をクリックします。

Google Cloud プロダクトの地域ごとのステータス情報を表示するにはどうすればよいですか?

Google CSH ダッシュボードには、すべての Google Cloud プロダクトのステータスがリージョンとグローバル ロケール別に表示されます。マルチリージョンの ステータスを表示するには、リージョン固有のタブをクリックします。

Google CSH ダッシュボードに表示されるデータをプログラムで統合して使用できますか?

はい。Google CSH ダッシュボードに表示されるデータは、次の方法で使用できます。

  • RSS フィードを使用する
  • JSON の履歴ファイルを使用する

    JSON ファイルのスキーマはこちらからダウンロードできます。

RSS フィードと JSON 履歴ファイルには、統合で利用できるインシデント ステータス情報が含まれています。

リージョン別のステータス レポートの導入と Google Cloud Service Health ダッシュボードの名称変更を行う前に、Google Cloud ステータス ダッシュボードに基づいて事前に構築された統合がある場合はどうすればよいですか?

RSS フィードと JSON ファイルの両方で、リージョン ステータス情報は、リージョン ステータス レポートの導入と Google Cloud ステータス ダッシュボード名の変更前にすでに公開されていた情報に追加されます。既存の統合は引き続き機能します。ただし、統合を介してリージョン ステータス情報を使用する場合は、変更する必要があります。

ここでは、RSS フィードと JSON ファイルの両方でリージョンの情報を表示する方法について詳しく説明します。

  • RSS フィード

    リージョン ステータス情報は、リージョン ステータスの導入前に提供されたフィード情報に新たに追加されたものです。影響を受けたと報告された場所は RSS メッセージに追加されます。

  • JSON ファイル

    リージョン ステータスの更新前は、Google Cloud でインシデントのストリームを公開しました。各インシデントには、影響を受けるプロダクトのリストと、それぞれのステータスの更新のリスト(存在する場合)が含まれていました。これらのステータス更新には、位置情報を含む、または含まない非構造化文字列フィールドが含まれていました。

    現在、Google Cloud では、これまでと同様にインシデントのストリームが公開されています。ただし、インシデントごとに、ステータスが更新されるたびに次の新しいフィールドが含まれます。

    • updates.affected_locations: 更新の投稿時点で影響を受けるロケーションのリストが構造化されています。すべての更新レコードと most_recent_update レコードにこのフィールドが含まれます。
    • currently_affected_locations: インシデントの影響を受けるアクティブ ロケーションに関する最新情報が含まれています。updates.affected_locations とは異なり、このリストはインシデントが解決された後(つまり、end が空でない値に設定されたとき)に空になります。
    • previously_affected_locations: 以前にインシデントの影響を受けていたものの、現在は影響を受けていないロケーションのリストが含まれます。インシデントの進捗状況によっては、一部のロケーションでサービス停止の解決が継続される場合があります。これらのロケーションは、previously_affected_locations field に引き続き存在します。インシデントが解決されると(つまり、end が空値でない場合)、このフィールドにはインシデントの影響を受けるすべてのロケーションのリストが含まれます。

ダッシュボードにリストされていない問題が発生した場合はどうすればよいですか?

その問題がお客様のプロジェクトまたはインスタンスだけで発生しているか、影響を受けているユーザーの数が少ない可能性があります。ダッシュボードにリストされていない問題が発生した場合は、その問題についてカスタマーケアにお問い合わせください。

Google Cloud コンソールを使用している場合、右上隅にあるフィードバックの送信ツールをクリックすると、問題を報告できます。

ダッシュボードを更新しているのは誰ですか?

全世界のカスタマーケア チームが、さまざまな種類のシグナルを使用してプロダクトのステータスをモニタリングし、広範囲で問題が発生した場合はダッシュボードを更新します。また、必要に応じて、インシデントの解決後に詳細なインシデント解析レポートを投稿します。

インシデントとサービス停止の違いは何ですか?

この 2 つの用語は同じ意味で使われることがよくありますが、Google CSH ダッシュボードとお客様への連絡では、「インシデント」はサービスのパフォーマンスが劣化している状態を意味し、「サービス停止」はサービスがほとんど機能していない極めて深刻な状態を意味します。