インシデントと Google Cloud ステータス ダッシュボード

インシデントのライフサイクル

プロダクトのパフォーマンス低下が検出されると、プロダクト エンジニアリング チームと Google Cloud Platform サポートチームが協力して、インシデントの解決とお客様への連絡を担当します。

ライフサイクルの図

検出

Google ではインシデントを検出するために内部でブラック ボックス モニタリングを使用しています。詳しくは、Google の書籍『Site Reliability Engineering』の第 6 章をご覧ください。

プレミアム、エンタープライズ、ロールベースのサポートをご利用の場合は、Google Cloud Console でサポートケースを作成してインシデントを報告できます。プラチナ、ゴールド、シルバーのサポートをご利用の場合は、Google Cloud サポート センターでサポートケースを作成してインシデントを報告できます。そうでない場合は、こちらのフォームを使用できます。

最初の対応

インシデントが検出されると、サポートチームからお客様に連絡が届きます。通常、インシデントの最初の通知には多くの情報は含まれません。該当するプロダクトに触れるだけの場合もよくあります。これは、詳細よりも迅速な通知を優先しているためです。詳細は、以降のアップデートで提供できます。

できるだけ多くの情報を提供するとともに、お客様に関連のない問題まで報告しないよう、問題の影響範囲と重大度に応じて通信チャネルを使い分けています。

通信チャネルの図

問題が起こっていることがわかったら、最初にクラウド ステータス ダッシュボードを確認してください。このダッシュボードには多くのお客様に影響するインシデントが示されるので、ここに示されているインシデントが問題に関連している可能性が考えられます。重大度を示すために、ステータス ダッシュボードではインシデントを「中断」または「停止」のいずれかとしてマークしています。マイナーながらも広範囲に及ぶ問題は、一時的なお知らせとして掲載されます。

一部の Google Cloud プロダクトには、Cloud ステータス ダッシュボードの新しいインシデントのお知らせと通知を受け取るために登録できる Google グループがあります。

Google Cloud サポート センターCloud Console の [サポート] ページには、極めて包括的な既知の問題が表示されます。これらの問題には、ダッシュボード上に示される問題ほど多くのユーザーに影響しないものも含まれます。GCP の問題が疑われる一方、ダッシュボード上に問題が見当たらなければ、既知の問題のページを確認してください。

インシデントに該当しない問題や、サポート スタッフと直接やり取りする必要がある問題には、サポートケースの使用が適しています。既知の問題のページを使用してインシデントを投稿すると、サポートケースが作成されます。これにより、定期的に最新情報を入手できるだけでなく、サポート スタッフに問い合わせることもできます。

調査

インシデントの根本原因の調査は、プロダクト エンジニアリング チームが担当します。通常、インシデントの管理はサイト信頼性エンジニアが行いますが、状況とプロダクトによってはソフトウェア エンジニアや他の担当者が行うこともあります。詳しくは、Google の書籍『Site Reliability Engineering』の第 12 章をご覧ください。

軽減 / 解決

問題が解決したとみなされるのは、Google が確信を持って行った変更により、問題の影響が完全になくなった場合のみです。たとえば、インシデントの原因となった変更をロールバックして解決する場合もあります。

インシデントが続いている間は、サポートチームとプロダクト チームが問題の軽減を試みます。問題の軽減により、その影響や範囲を小さくできる可能性があります。たとえば、負荷によってパフォーマンスが低下しているサービスに一時的にリソースを追加するなどして問題を軽減します。

問題を軽減する方法が見つからない場合、可能であれば、サポートチームが回避策を連絡します。回避策とは、インシデントがあっても基本的なニーズを満たすために講じることができる対策を指します。たとえば、問題のあるコードパスを避けるために API 呼び出しに異なる設定を使用するといった回避策があります。

フォローアップ

インシデントが続いている間は、サポートチームが定期的に最新情報を提供します。通常は、次の情報が提供されます。

  • インシデントに関する詳細。エラー メッセージ、影響を受けるゾーン / リージョン、影響を受ける機能、影響の割合などです。

  • 問題軽減に向けた進捗状況。これには回避策も含まれます。

  • 連絡のタイムライン。インシデントに合わせて調整されます。

  • ステータスの変更。インシデントが解決された場合などにステータスが変更されます。

事後分析

インシデントを完全に把握し、信頼性に関して Google が行える改善策を特定するために、すべてのインシデントは社内で事後分析されます。事後分析によって特定された改善策が追跡および実装されます。Google での事後分析について詳しくは、Google の書籍『Site Reliability Engineering』の第 15 章をご覧ください。

インシデント報告書

広範囲にわたり深刻な影響を与えるインシデントの場合、Google は、その症状、影響、根本原因、是正措置、今後のインシデント防止策をまとめたインシデント報告書をリリースします。事後分析と同じく、Google が特に注意を向けるのは、問題から学び、信頼性を改善するために講じる措置です。Google が事後分析報告書を作成してリリースする上での目標は、透明性を維持し、お客様向けの安定したサービスを構築するという Google の取り組みを明らかにすることにあります。

よくある質問

ダッシュボード ホームページには、どのような種類のステータス情報が表示されますか?

Google Cloud ステータス ダッシュボードには、Google Cloud Platform に含まれるサービスのステータス情報が表示されます。ステータスの種類には、サービス中断、サービス停止、一時的な問題に関する情報メッセージなどが含まれます。

過去のサービス中断とサービス停止に関する情報はどこで調べることができますか?

サマリーと履歴のページには、過去 365 日間に発生した中断や停止に関する情報が保存されています。インシデント番号をクリックすると、そのインシデントの発生中に投稿された説明と、サポートチームによって作成されたインシデント概要レポートを確認できます。

ダッシュボードにリストされていない問題が発生した場合はどうすればよいですか?

その問題がお客様のプロジェクトまたはインスタンスだけで発生しているか、影響を受けているユーザーの数が少ない可能性があります。ダッシュボードにリストされていない問題が発生した場合は、その問題についてサポートにお問い合わせください。

Google Cloud Console を使用している場合、右上隅にあるフィードバックの送信ツールをクリックすると、問題を報告できます。

ダッシュボードを更新しているのは誰ですか?

全世界の Google Cloud Platform サポートチームが、さまざまな種類のシグナルを使ってサービスのステータスをモニタリングし、広範囲で問題が発生した場合はダッシュボードを更新します。また、必要に応じて、インシデントの解決後に詳細なインシデント解析レポートを投稿します。

「インシデント」と「サービス停止」の違いは何ですか?

この 2 つの用語は同じ意味で使われることがよくありますが、クラウド ステータス ダッシュボードとお客様への連絡では、「インシデント」はサービスのパフォーマンスが劣化している状態を意味し、「サービス停止」はサービスがほとんど機能していない極めて深刻な状態を意味します。