ストリームをモニタリングする

概要

Datastream を使用して、ストリームによって処理されるデータとイベントをモニタリングできます。この情報は次のグラフに表示されます。

  • スループット: Datastream がデータまたはイベントを処理するレート。このレートには、次のものがあります。

    • Datastream がソースから転送先に転送するデータ量(MB 単位)。
    • 転送されるデータに関連付けられているイベントの数。イベントは、ソースの 1 つの変更(データベース内のテーブルに新しい行が追加されるなど)です。

  • サポートされていないイベント: ソースから転送先への処理ができないイベント数。

  • データの鮮度: ソースに存在するデータと、ストリームによって宛先に転送されるデータの時間差。これは、ソース タイムスタンプと処理中の最も古いイベントの読み取りタイムスタンプの間の経過時間として計算されます。ソースから読み取る新しいイベントがない場合、鮮度は 0 に設定されます。

    Datastream がまだ処理していないキュー内のイベントがある場合、Datastream がデータの鮮度指標を計算するときに考慮されません。たとえば、スループットが急増した場合、Datastream が急増の原因となったイベントを処理した後でのみ、鮮度指標に反映されます。

  • システム レイテンシ: Datastream のイベント処理にかかる時間。この間隔は、Datastream がイベントを読み取ってから転送先に書き込まれるまでの時間として計算されます。

  • 合計レイテンシ: データがソースに書き込まれるまでの時間と、対応するイベントが転送先に書き込まれる時間の差。

処理されたデータまたはイベントをモニタリングする

  1. Google Cloud Console の [ストリーム] ページに移動します。

    [ストリーム] ページに移動

  2. モニタリングするストリームをクリックします。

  3. 省略できます。[データの鮮度] グラフが表示されるまでスクロールします。このグラフに対して、[アラート ポリシーを作成] リンクをクリックして、アラート ポリシーを作成します。アラート ポリシーは、グラフをモニタリングする一連の条件を記述するものです。

    リンクをクリックすると、[Cloud Monitoring] に [通知ポリシーを作成] ページが表示されます。このページでは、グラフのアラート ポリシーを定義できます。これには、ポリシーをトリガーする条件、条件が満たされた場合に通知されるユーザー、通知方法の指定が含まれます。

    アラート ポリシーの作成方法など、詳細については、指標ベースのアラート ポリシーの管理をご覧ください。

  4. [モニタリング] タブをクリックします。

  5. Datastream がモニタリングしているデータまたはイベントを表す該当のグラフが表示されるまで、スクロールします。

  6. [スループット] グラフを表示している場合は、必要に応じて、[(バイト/秒)] を選択して、Datastream によってソースから転送先に転送されるデータ量を確認するか、[(イベント/秒)] を選択して、転送されたデータに関連するイベント数を確認します。

  7. Datastream によって数時間または数日間にわたって処理されたデータ量またはイベント数を表示するには、1 時間6 時間12 時間1 日2 日4 日7 日14 日30 日のいずれかを選択します。

    または、カスタムの範囲を設定するには、[カスタム] メニューを選択し、[カレンダー] 選択ツールを使用して、表示するデータ量またはイベント数の開始日時と終了日時を指定します。

    Datastream により、選択した内容を反映するようにペインのグラフが更新され、指定した間隔が表示されます。

    たとえば、今日が 2021 年 10 月 31 日で、[30 日間] をクリックすると、2021 年 10 月 1 日以降に Datastream によって処理されたデータ量またはイベント数がグラフに表示されます。

  1. グラフの線の上にポインタを置くと、Datastream によって特定の日時に処理されたデータ量またはイベント数が表示されます。