Cloud Storage でオブジェクト作成のモニタリングを設定するためのガイド
Google Cloud Japan Team
※この投稿は米国時間 2020 年 6 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。
Cloud Storage は、世界中で利用できる耐久性に優れたオブジェクト ストレージを提供しており、このストレージでデータをエクサバイト単位までスケールできます。つまり、ウェブサイト、モバイル アプリケーション、バックアップと復元、アーカイブ、ビッグデータ分析など、あらゆる規模と業種のお客様が幅広いユースケースでこのサービスを利用し、どれだけの量のデータでも安全に保管することができます。オブジェクトはバケットと呼ばれるコンテナに保存されます。
現在のビジネスでは通常、バッチ処理やリアルタイム処理のために、1 日を通じてさまざまな頻度で内部ソースや外部ソースからデータを収集します。ほとんどのケースで、管理者やデータ エンジニアが外部ソースシステムからの新しいファイルの受信をモニタリングし、オブジェクト数が予想より少ない場合にアラートを作成することが重要になります。これにより、ソースの問題が原因で欠落しているデータセットを特定できるようになります。
この記事では、データアクセス ログとログベースの指標を使用して、Google Cloud Storage でオブジェクト作成のモニタリングとアラートを設定する手順を説明します。データアクセス監査ログには、リソースの構成やメタデータを読み取る API 呼び出しや、ユーザー提供のリソースデータの作成、変更、読み取りを行うユーザー主導の API 呼び出しが含まれます。このタイプのモニタリングとアラートにより、データの品質を保ち、ソースシステムの問題を特定できます。
使用するアーキテクチャは次のとおりです。
モニタリングとアラートを開始する方法を紹介します。
1. プロジェクトでデータアクセス ログを構成する
Cloud Console で監査ログ構成オプションにアクセスする方法は次のとおりです。
- Cloud Console の左上のオーバーフロー メニューから [IAM と管理] > [監査ログ] を選択します。[監査ログ] ページに移動します。
- ページの上部にある既存の Google Cloud プロジェクト、フォルダ、組織を選択します。[監査ログ] ページのメインの表で、[タイトル] 列のサービス名の左側にあるボックスをクリックして、Google Cloud Storage を選択します。
- 表の右側にある情報パネルの [ログタイプ] タブで、有効にするデータ書き込みを選択し、[保存] をクリックします。
データアクセス ログを有効にすると、ファイルをバケットにアップロードするたびにプロジェクトで作成されたログを確認できます。
2. ログベースの指標を構成する
- 左側のペインで、[Logging] > [ログベースの指標] をクリックします。
- ポリシーに「Blog_demo」という名前を付けます。
- 次に示すスクリーンショットのように、フィルタ条件を指定します。
メソッド名は「storage.objects.create」になります。バケット名を、モニタリングするバケットの名前と、ログをモニタリングするタイムスタンプに置き換えます。
このようなフィルタの一般的なログエントリは次のようになります。
3. Cloud Monitoring でアラートを作成する
- 左側のペインで、[アラート] > [ポリシーを作成] をクリックします。
- ポリシーに「Blog_demo」という名前を付けます。
- [条件を追加] をクリックして、10 分以内にバケットにデータが書き込まれない場合にアラートが発生するように、Cloud Storage のデータ容量の条件を作成します。
Cloud Monitoring ではデータが次のように表示されます。
スクリーンショットに示されているように、時系列データを 10 分間の時間枠で管理することで、各バケットに追加されたオブジェクトの数を計算できます。時間枠ごとに、ベースとなるすべてのオブジェクトの合計が最終カウントになります。
各バケットのしきい値は別に設定することが可能で、アラートをトリガーするために使用できます。
詳しくは、データアクセス ログとログベースの指標をご覧ください。
- ビッグデータおよびアナリティクス クラウド担当コンサルタント Swati Sindwani、戦略的クラウド エンジニア Jeanno Cheung
