管理ツール

Google Cloud 上の IBM MQ インスタンスを Prometheus 指標でモニタリングする方法

2023年7月1日

Google Cloud Japan Team

※この投稿は米国時間 2023 年 5 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。

テレメトリーデータを収集するためのクラウド上の Ops エージェントの直接的なサポートがない、サードパーティ製の Google Cloud上のアプリケーションをモニタリングすることは、しばしば困難なことです。2023 年 4 月現在、サードパーティがサポートしているアプリケーションの一覧はこちらです。IBM MQ（メッセージおよびキューミドルウェア）は、Ops エージェントがサポートしていないプロダクトの一つです。したがって、Google Cloud をご利用のお客様にとって、Dyantrace や IBM のモニタリングサービスなどの他のオペレーションスイートで遠隔測定データを維持し保護するためには、多額の費用だけでなくオーバーヘッドも発生します。この記事では、IBM MQ インスタンスから指標を抽出するだけでなく、チャート、ダッシュボード、アラートを生成するためにネイティブの Cloud Monitoring にエクスポートする独自のモニタリングフローの作成についてご説明いたします。

要件:

こちらで説明するフローには、大きく分けて 2 つのステップがあります。

MQ Metrics Exporter:

MQ Metrics Exporter ステップは、MQ サーバーと Prometheus の間の抽象化レイヤとして理解でき、MQ 指標を Prometheus 指標に変換して簡単に使用できるようにします。MQ Metrix Exporter は、Prometheus 指標をスクレイピング可能なエンドポイントで公開します。このエクスポーターの実装には、以下のコンポーネントが必要です。

IBM MQ クライアント: MQ クライアントは、IBM MQ プロダクト群に含まれるもので、基本プロダクトおよびサーバーとは別のマシンに単独でインストールできます。こちらは無償でご利用いただけます。このクライアントは、MQ Metrix Exporter を実行する予定のホストにインストールする必要があります。MQ Metrix Exporter は、MQ クライアントを使用して、一つ以上の IBM MQ サーバーと対話し、それらのキューマネージャーに接続して、有用な指標を取得します。
pymqi Python ライブラリ: 構築予定のエクスポーターは Python でコーディングされており、IBM MQ PCF コマンドを実行するために pymqi ライブラリのさまざまな組み込みメソッドを活用します。PCF コマンドを起動し、MQ サーバーから指標を取得します。Python 3.6.8 と pip3 がホスト上にインストールされていること、および以下の依存関係が存在しているかご確認ください。

読み込んでいます...

Prometheus クライアント: MQ 指標を Prometheus 指標として使用するには、Prometheus クライアントが必要です。データコレクタ向けに、このような指標を利用できるように、http エンドポイントを公開しています。今回は Python でエクスポーターを記述するため、Prometheus の Python クライアントを使用します。以下の依存関係がインストールされているかご確認ください。

読み込んでいます...

MQ Metrics データコレクタ:

データコレクタは、MQ Metrix Exporter から指標を収集し、クエリやダッシュボードで利用するために、Cloud Monitoring にデータを保存できます。PromQL を使用してグローバルにデータを照会できるため、既存の Grafana ダッシュボード、PromQL ベースのアラート、およびワークフローをそのまま使用できます。このソリューションで使用するデータコレクタは、Compute Engines 上で動作する MQ Metrix Exporter をスクレイピングする最も簡単な方法である Ops エージェントを使用します。しかしながら、MQ Metrix Exporter をコンテナ化し、Google Kubernetes Engine のコンテナで実行することは可能です。Kubernetes 環境では、Google Cloud Managed Service for Prometheus 向けのセルフマネージドまたはマネージドデータコレクタオプションを活用し、Cloud Monitoring に指標を保存できます。以下より詳細をご確認ください。

解決方法:

https://storage.googleapis.com/gweb-cloudblog-publish/images/1._IBM_MQ_Monitoring_on_GCP.max-1500x1500.jpeg

MQ モニタリングの流れ

IBM MQ クライアント環境で実行する Python クライアントは、PCF コマンドを発行し、リクエストはキューマネージャーにリダイレクトされ、そこで処理後に、クライアントに返信されます。Python クライアントと MQ クライアント間のリンクは、実行時に動的に確立されます。Ops エージェントには、http サーバー（/metrics パス）をポーリングしてデータを収集し、Cloud Monitoring に転送し続ける prometheus レシーバーがあります。

サンプルコード:

以上が、必要とされる依存関係となります。それではこれより IBM MQ 指標について、いくつか例を用いて、MQ Metrix Exporter の実装について確認します。次のサンプルコードでは、3 つの有用な指標を取得できます。

現在の接続数
キューの深さ
キューマネージャーの健康状態

このコードを拡張して、必要とされる指標を取得できます。

読み込んでいます...

"""MQ Metrics exporter"""

import os
import pymqi
import time
import google.auth
from prometheus_client import start_http_server, Gauge, Enum

class MQMetrics:
    def __init__(self, interval_seconds=10):
        self.interval_seconds = interval_seconds
        """
        収集する Prometheus 指標
        1. current_connection_count: 現在のアクティブな
       接続数を表します。
        2. queue_depth: キューごとのメッセージ数。
        3. qmgr_health: キュー マネージャーの健全性の状態。
        値: [0(unhealthy),1(healthy)]
        """
        self.current_connection_count = Gauge(
            "current_connection_count",
            "Current connection count in queue manager",
            ["qmgr"],
        )
        self.queue_depth = Gauge("queue_depth", "Queue Depth", 
                                 ["qmgr", "queue"])
        self.health = Enum(
            "qmgr_health", "Health", ["qmgr"], states=["healthy", "unhealthy"]
        )

def collect_metrics_in_loop(
        self, queue_manager, channel, conn_info, user, password
    ):
        """MQ サーバーから指標をスクレイピング"""
        while True:
            self.fetch_metrics(queue_manager, channel, conn_info, 
                               user, password)
            time.sleep(self.interval_seconds)

def fetch_metrics(self, queue_manager, channel, conn_info, 
                      user, password):
        """
        MQ サーバーから指標を取得し、prometheus を更新。
        """
        qmgr = pymqi.connect(queue_manager, channel, conn_info, 
                             user, password)
        pcf = pymqi.PCFExecute(qmgr)

try:
            _, project_id = google.auth.default()
        except google.auth.exceptions.DefaultCredentialsError:
            raise ValueError(
                "Couldn't find Google Cloud credentials, set the "
                "project ID with 'gcloud set project'"
            )

# 指標 1: キュー マネージャーの現在の接続数
        response = pcf.MQCMD_INQUIRE_Q_MGR_STATUS()

for data in response:
            self.current_connection_count.labels(qmgr=queue_manager).set(
                data[pymqi.CMQCFC.MQIACF_CONNECTION_COUNT]
            )

# 指標 2: 現在のキューの深さ
        prefix = "*"
        queue_type = pymqi.CMQC.MQQT_LOCAL

args = {pymqi.CMQC.MQCA_Q_NAME: prefix, 
                pymqi.CMQC.MQIA_Q_TYPE: queue_type}

response = pcf.MQCMD_INQUIRE_Q(args)

for q_info in response:
            queue_name = q_info[pymqi.CMQC.MQCA_Q_NAME].decode("utf-8")
            queue_depth = q_info[pymqi.CMQC.MQIA_CURRENT_Q_DEPTH]
            self.queue_depth.labels(qmgr=queue_manager, queue=queue_name).set(
                queue_depth
            )

# 指標 3: キュー マネージャーの健全性の状態のチェック
        self.collect_health_state(pcf, queue_manager)

qmgr.disconnect()

def collect_health_state(self, pcf, queue_manager):
        try:
            """キュー マネージャーの応答の有無をチェック"""
            pcf.MQCMD_PING_Q_MGR()
        except pymqi.MQMIError as e:
            self.health.labels(qmgr=queue_manager).state("unhealthy")
        else:
            self.health.labels(qmgr=queue_manager).state("healthy")

def main():

interval_seconds = 10
    """エクスポーターが Prometheus 指標を公開するために使用するポート"""
    exporter_port = int(os.getenv("MQ_EXPORTER_PORT", "5000"))

# 以下の変数に値を入力
    queue_manager = int(os.getenv("QUEUE_MANAGER", "[queue manager name]"))
    channel = int(os.getenv("CHANNEL", "[channel name]"))
    host = int(os.getenv("HOST", "[MQ server IP]"))
    port = int(os.getenv("PORT", "[Port no.]"))
    user = int(os.getenv("USER", "[user to connect queue manager]"))
    password = int(os.getenv("PASSWORD", "[password for the user]"))

conn_info = "%s(%s)" % (host, port)

mq_metrics_exporter = MQMetrics(interval_seconds=interval_seconds)
    start_http_server(exporter_port)
    mq_metrics_exporter.collect_metrics_in_loop(
        queue_manager, channel, conn_info, user, password
    )

if __name__ == "__main__":
    main()

指標のコレクション

エクスポートされた指標は、データコレクタで収集する必要があります。以下の手順にて、ホスト上で Ops エージェントをセットアップしてください。

Ops エージェントをインストールする。バージョン 2.25.0 以上をインストールする必要があります。

Ops エージェントの構成ファイルである、/etc/google-cloud-ops-agent/config.yaml を編集し、Prometheus のレシーバーとパイプラインを追加します。

読み込んでいます...

注: ターゲットホストを変更し、コレクタを MQ Metrix Exporter が動作しているマシンに向けてください。

Ops エージェントの再起動

読み込んでいます...

Cloud Monitoring で Prometheus 指標の表示

上記のように MQ Metrix Exporter と Ops エージェントを実行後、Cloud Monitoring で利用可能な以下のオプションを使用して指標データを可視化できます。

また、Prometheus UI や Grafana など、他のインターフェースにおいても、指標を表示可能です。

先にご説明した 3 つの MQ 指標が取り込まれていることを確認するために、PromQL を使用します。

Google Cloud コンソールで [Monitoring] へ移動。
[Monitoring] のナビゲーションパネルで、[Metrics Explorer] をクリック。
[PromQL] タブを選択。
以下のクエリを一つずつ実行すると、データとチャートが表示されます。

読み込んでいます...

https://storage.googleapis.com/gweb-cloudblog-publish/images/2._current_connection_count.max-2200x2200.jpg

指標 1: 現在の接続数

https://storage.googleapis.com/gweb-cloudblog-publish/images/3._queue_depth.max-2200x2200.jpg

指標 2: キューの深さ

https://storage.googleapis.com/gweb-cloudblog-publish/images/4._health_state.max-2200x2200.jpg

指標 3: キューマネージャーの健全性の状態

総括

MQ Metrix Exporter と Ops エージェントのコンポーネントは元々独立しているため、分散してデプロイすることも、同じマシンにバンドルしてデプロイすることも可能です。しかしながら、MQ モニター（またはエクスポーター）は、スケーラビリティを確保するために、MQ サーバーとは別のマシンにデプロイすることを推奨します。

上記のサンプルコードでは、いくつかの指標をカバーしていますが、ソリューションを拡張して、pymqi ライブラリで利用可能な PCF コマンドを実行することで、以下の指標も収集可能です。

共有接続
アクティブなチャネル
チャネルのステータス
メッセージの合計件数
送信、受信バイト数
送信、受信バッファ
キューの深さの割合
キュー I/O
commit されていないメッセージ
キューに追加されたメッセージ
キューから出されたメッセージ

次のステップ

Cloud Monitoring は、クラウドを利用したアプリケーションのパフォーマンス、稼働時間、そして全体的な健全性を可視化します。一方、Cloud Logging は、大規模に稼働し、アプリケーションとプラットフォームのログデータ、および Google Cloud 内外の GKE 環境、VM、その他のサービスからカスタムログデータを取り込むことができるフルマネージドサービスです。

以下のインタラクティブなページから、ご利用を開始してください。

Cloud Logging と Cloud Monitoring で Gemini for Google Cloud の使用状況を把握する

執筆者: Calvin Cheng • 所要時間: 7 分

Data Analytics

BigQuery ジョブエクスプローラ: BigQuery ジョブを一元的にモニタリング、トラブルシューティング

執筆者: Vinay Yerramilli • 所要時間: 5 分

Management Tools

Terraform Google プロバイダ 6.0.0 の発表: 柔軟性と管理性の向上

執筆者: Swati Chadha • 所要時間: 7 分

https://storage.googleapis.com/gweb-cloudblog-publish/images/hero_image_QEtm4f9.max-700x700.jpg

DevOps & SRE

Cloud Logging によってログを効率的に一元化するためのベストプラクティス

執筆者: Keith Chen • 所要時間: 9 分

Google Cloud 上の IBM MQ インスタンスを Prometheus 指標でモニタリングする方法

Google Cloud Japan Team

要件:

MQ Metrics Exporter:

MQ Metrics データコレクタ:

解決方法:

サンプルコード:

指標のコレクション

Cloud Monitoring で Prometheus 指標の表示

総括

次のステップ

関連情報

関連記事

Cloud Logging と Cloud Monitoring で Gemini for Google Cloud の使用状況を把握する

BigQuery ジョブエクスプローラ: BigQuery ジョブを一元的にモニタリング、トラブルシューティング

Terraform Google プロバイダ 6.0.0 の発表: 柔軟性と管理性の向上

Cloud Logging によってログを効率的に一元化するためのベストプラクティス

Google Cloud 上の IBM MQ インスタンスを Prometheus 指標でモニタリングする方法

Google Cloud Japan Team

要件:

MQ Metrics Exporter:

MQ Metrics データコレクタ:

解決方法:

サンプルコード:

指標のコレクション

Cloud Monitoring で Prometheus 指標の表示

総括

次のステップ

関連情報

関連記事

Cloud Logging と Cloud Monitoring で Gemini for Google Cloud の使用状況を把握する

BigQuery ジョブ エクスプローラ: BigQuery ジョブを一元的にモニタリング、トラブルシューティング

Terraform Google プロバイダ 6.0.0 の発表: 柔軟性と管理性の向上

Cloud Logging によってログを効率的に一元化するためのベスト プラクティス

BigQuery ジョブエクスプローラ: BigQuery ジョブを一元的にモニタリング、トラブルシューティング

Cloud Logging によってログを効率的に一元化するためのベストプラクティス