このページは Cloud Translation API によって翻訳されました。

メッセージの順序指定

メッセージの順序指定は Pub/Sub の機能で、パブリッシャークライアントによってパブリッシュされた順序でサブスクライバークライアントでメッセージを受信できます。

たとえば、リージョン内のパブリッシャークライアントがメッセージ 1、2、3 を順番にパブリッシュするとします。メッセージの順序指定を使用すると、サブスクライバークライアントはパブリッシュされたメッセージを同じ順序で受信します。順序どおりに配信するには、パブリッシャークライアントが同じリージョンにメッセージをパブリッシュする必要があります。ただし、定期購入者は任意のリージョンに接続でき、注文保証は維持されます。

メッセージの順序付けは、データベース変更の取得、ユーザーセッショントラッキング、ストリーミングアプリケーションなど、イベントの順序を保持することが重要なシナリオで便利な機能です。

このページでは、メッセージの順序付けのコンセプトと、メッセージを順番に受信するようにサブスクライバークライアントを設定する方法について説明します。メッセージの順序付け用にパブリッシャークライアントを構成するには、順序指定キーを使用してメッセージをパブリッシュするをご覧ください。

メッセージの順序指定の概要

Pub/Sub での順序付けは、次の要素によって決まります。

順序付けキー: Pub/Sub メッセージメタデータで使用される文字列で、メッセージの順序付けが必要なエンティティを表します。順序付けキーの長さは 1 KB までです。リージョンで順序付きメッセージのセットを受け取るには、同じ順序指定キーを持つすべてのメッセージを同じリージョンにパブリッシュする必要があります。並べ替えキーの例としては、顧客 ID やデータベース内の行の主キーなどがあります。

各順序指定キーのパブリッシュスループットは 1 MBps に制限されています。トピックのすべての順序付けキーのスループットは、パブリッシュリージョンで使用可能な割り当てに制限されます。この上限は、GBps の単位で増やすことができます。

順序指定キーはパーティションよりもはるかに高い基数を持つことが想定されるため、順序指定キーはパーティションベースのメッセージングシステムのパーティションと同等ではありません。
メッセージの順序指定を有効にする: これはサブスクリプションの設定です。サブスクリプションでメッセージの順序指定が有効になっている場合、サブスクライバークライアントは、同じリージョンで同じ順序指定キーを使用してパブリッシュされたメッセージを、サービスで受信した順序で受信します。定期購入でこの設定を有効にする必要があります。

同じトピック T に 2 つのサブスクリプション A と B が接続されているとします。サブスクリプション A はメッセージの順序指定が有効に構成され、サブスクリプション B はメッセージの順序指定が有効に構成されていません。このアーキテクチャでは、サブスクリプション A と B の両方がトピック T から同じ一連のメッセージを受信します。同じリージョンで順序指定キーを使用してメッセージをパブリッシュすると、サブスクリプション A はパブリッシュされた順序でメッセージを受信します。一方、サブスクリプション B は、順序を指定せずにメッセージを受信します。

一般に、ソリューションでパブリッシャークライアントが順序付きメッセージと順序なしメッセージの両方を送信する必要がある場合は、順序付きメッセージ用と順序なしメッセージ用の個別のトピックを作成します。

順序付きメッセージを使用する際の考慮事項

次のリストは、Pub/Sub での順序付きメッセージの動作に関する重要な情報を示しています。

キー内の順序指定: 同じ順序指定キーでパブリッシュされたメッセージは、順番に受信されることが期待されます。順序指定キー A で、メッセージ 1、2、3 をパブリッシュするとします。順序付けが有効になっている場合、1 は 2 より前に配信され、2 は 3 より前に配信される予定です。
キー間の順序指定: 異なる順序指定キーでパブリッシュされたメッセージは、順序どおりに受信されるとは限りません。順序指定キー A と B があるとします。順序指定キー A の場合、メッセージ 1 と 2 は順番にパブリッシュされます。順序指定キー B の場合、メッセージ 3 と 4 は順番にパブリッシュされます。ただし、メッセージ 1 はメッセージ 4 の前に届く場合もあれば、後に届く場合もあります。
メッセージの再配信: Pub/Sub は各メッセージを少なくとも 1 回配信するため、Pub/Sub サービスでメッセージが再度配信される可能性があります。メッセージの再配信は、確認応答済みのメッセージであっても、そのキーの以降のすべてのメッセージの再配信をトリガーします。サブスクライバークライアントが特定の順序指定キーのメッセージ 1、2、3 を受信するとします。メッセージ 2 が再配信された場合（確認応答期限が切れたか、ベストエフォートの確認応答が Pub/Sub に保持されなかったため）、メッセージ 3 も再配信されます。サブスクリプションでメッセージの順序指定とデッドレタートピックの両方が有効になっている場合、Pub/Sub はベストエフォート方式でデッドレタートピックにメッセージを転送するため、正確でないこともあります。
確認応答の遅延とデッドレタートピック: 特定の順序指定キーの確認応答されていないメッセージは、特にサーバー再起動時やトラフィックの変化時に、他の順序指定キーのメッセージの配信が遅れる可能性があります。このようなイベント間で順序を維持するには、すべてのメッセージに対してタイムリーに確認応答を行う必要があります。適切なタイミングで確認応答できない場合は、デッドレタートピックを使用して、メッセージの無期限の保持を回避することを検討してください。デッドレタートピックにメッセージが書き込まれるとき、順序が保持されないことがあります。
メッセージアフィニティ（streamingPull クライアント）: 通常、同じキーのメッセージは同じ streamingPull サブスクライバークライアントに配信されます。アフィニティは、特定のサブスクライバークライアントへの順序指定キーのメッセージが未処理の場合に想定されます。保留中のメッセージがない場合、ロードバランシングまたはクライアントの切断のためにアフィニティがシフトすることがあります。

アフィニティが変更される可能性のある場合でもスムーズに処理できるように、特定の順序付けキーの任意のクライアントでメッセージを処理できるように streamingPull アプリケーションを設計することが重要です。
Dataflow との統合: Pub/Sub で Dataflow を構成する場合は、サブスクリプションのメッセージの順序付けを有効にしないでください。Dataflow には、ウィンドウ処理の一部として、すべてのメッセージの時系列順序を確保する独自のメッセージ全体の順序付けメカニズムがあります。この並べ替え方法は、Pub/Sub の並べ替えキーベースのアプローチとは異なります。Dataflow で順序付けキーを使用すると、パイプラインのパフォーマンスが低下する可能性があります。
自動スケーリング: Pub/Sub の順序付き配信は、数十億の順序指定キーにスケーリングされます。順序指定キーの数が多いほど、サブスクライバーへの並列配信がより多く可能になります。これは、順序指定が同じ順序指定キーを持つすべてのメッセージに適用されるためです。

注文配送にはいくつかのトレードオフがあります。順序なし配信と比較して、順序付き配信ではパブリッシュの可用性が低下し、エンドツーエンドのメッセージ配信レイテンシが増加します。順序付き配信の場合、フェイルオーバーでは、メッセージが正しい順序で書き込まれ、読み取られるように調整する必要があります。

メッセージの順序付けの使用方法の詳細については、次のベストプラクティスのトピックをご覧ください。

メッセージの順序付けに関するサブスクライバークライアントの動作

サブスクライバークライアントは、特定のリージョンでパブリッシュされた順序でメッセージを受信します。Pub/Sub は、pull サブスクリプションと push サブスクリプションに接続されたサブスクライバークライアントなど、さまざまな方法でメッセージを受信できます。クライアントライブラリは streamingPull を使用します（PHP を除く）。

これらのサブスクリプションタイプの詳細については、サブスクリプションタイプの選択をご覧ください。

以降のセクションでは、各タイプのサブスクライバークライアントでメッセージの順序が維持される仕組みについて説明します。

StreamingPull サブスクライバークライアント

streamingPull でクライアントライブラリを使用する場合は、サブスクライバークライアントがメッセージを受信するたびに実行されるユーザーコールバックを指定する必要があります。クライアントライブラリでは、任意の順序指定キーに対して、コールバックが正しい順序でメッセージが完了するまで実行されます。メッセージがそのコールバック内で確認されると、メッセージのすべての計算が順番に行われます。ただし、ユーザーコールバックがメッセージに対して他の非同期処理をスケジュールする場合、サブスクライバークライアントは非同期処理が順番に行われるようにする必要があります。1 つの方法は、順番に処理されるローカル作業キューにメッセージを追加することです。

pull サブスクライバークライアント

pull サブスクリプションに接続しているサブスクライバークライアントの場合、Pub/Sub メッセージの順序付けは次のものをサポートします。

PullResponse 内の順序付けキーのすべてのメッセージが、リスト内で適切な順序になっています。
順序付けキーに対して一度に処理待ちのメッセージのバッチは 1 つのみです。

一度に未処理にできるメッセージのバッチは 1 つだけという要件は、順序付けられた配信を維持するために必要ですが、これは、Pub/Subサービスがサブスクライバーの　pull リクエストのために送信する応答の成功または遅延を保証できないためです。

push サブスクライバークライアント

push の制限は pull よりも厳格です。push サブスクリプションの場合、Pub/Sub は順序指定キーごとに一度に 1 つの未処理のメッセージをサポートします。各メッセージは、個別のリクエストとしてプッシュエンドポイントに送信されます。したがって、リクエストを並列で送信すると、同じ順序指定キーの複数のバッチメッセージを配信してサブスクライバーを同時に pull する場合と同じ問題が発生します。同じ順序指定キーでメッセージが頻繁にパブリッシュされるトピックや、レイテンシが非常に重要なトピックでは、プッシュサブスクリプションが適切でない場合があります。

サブスクライバークライアントをエクスポートする

エクスポートサブスクリプションでは、順序付きのメッセージがサポートされます。BigQuery サブスクリプションの場合、同じ順序指定キーを持つメッセージは BigQuery テーブルに順番に書き込まれます。Cloud Storage サブスクリプションの場合、同じ順序指定キーを持つメッセージがすべて同じファイルに書き込まれるとは限りません。同じファイル内の場合、順序指定キーのメッセージが順序どおりに処理されます。複数のファイルに分散している場合、順序指定キーの後続のメッセージは、以前のメッセージがあるファイルの名前のタイムスタンプよりも前のタイムスタンプを持つファイルに表示される可能性があります。

メッセージの順序指定を有効にする

メッセージを順に受信するには、メッセージを受信するサブスクリプションのメッセージ順序指定プロパティを設定します。メッセージを順に受信すると、レイテンシが増加する可能性があります。サブスクリプションを作成した後にメッセージの順序付けプロパティを変更することはできません。

Google Cloud コンソール、Google Cloud CLI、または Pub/Sub API を使用してサブスクリプションを作成するときに、メッセージの順序指定プロパティを設定できます。

Console

メッセージの順序指定プロパティがあるサブスクリプションを作成する手順は次のとおりです。

Google Cloud コンソールで、[サブスクリプション] ページに移動します。

サブスクリプションに移動

[サブスクリプションを作成] をクリックします。
[サブスクリプション ID] を入力します。
メッセージを受信するトピックを選択します。
[メッセージの順序指定] セクションで、[順序指定キーを使用してメッセージの順序を指定する] を選択します。
[作成] をクリックします。

gcloud

メッセージの順序指定プロパティがあるサブスクリプションを作成するには、gcloud pubsub subscriptions create コマンドと --enable-message-ordering フラグを使用します。

gcloud pubsub subscriptions create SUBSCRIPTION_ID \
  --enable-message-ordering

SUBSCRIPTION_ID をサブスクリプションの ID に置き換えます。

リクエストが成功すると、コマンドラインに確認メッセージが表示されます。

Created subscription [SUBSCRIPTION_ID].

REST

メッセージの順序指定プロパティがあるサブスクリプションを作成するには、次のような PUT リクエストを送信します。

PUT https://pubsub.googleapis.com/v1/projects/PROJECT_ID/subscriptions/SUBSCRIPTION_ID
Authorization: Bearer $(gcloud auth application-default print-access-token)

次のように置き換えます。

PROJECT_ID: トピックがあるプロジェクトのプロジェクト ID
SUBSCRIPTION_ID: サブスクリプション ID

リクエスト本文には、次のように指定します。

{
  "topic": TOPIC_ID,
  "enableMessageOrdering": true,
}

TOPIC_ID は、サブスクリプションに接続するトピックの ID に置き換えます。

リクエストが成功した場合のレスポンスは、JSON 形式のサブスクリプションになります。

{
  "name": projects/PROJECT_ID/subscriptions/SUBSCRIPTION_ID,
  "topic": projects/PROJECT_ID/topics/TOPIC_ID,
  "enableMessageOrdering": true,
}

C++

このサンプルを試す前に、クイックスタート: クライアントライブラリの使用の C++ の設定手順を実施してください。詳細については、Pub/Sub C++ API リファレンスドキュメントをご覧ください。

namespace pubsub = ::google::cloud::pubsub;
namespace pubsub_admin = ::google::cloud::pubsub_admin;
[](pubsub_admin::SubscriptionAdminClient client,
   std::string const& project_id, std::string const& topic_id,
   std::string const& subscription_id) {
  google::pubsub::v1::Subscription request;
  request.set_name(
      pubsub::Subscription(project_id, subscription_id).FullName());
  request.set_topic(pubsub::Topic(project_id, topic_id).FullName());
  request.set_enable_message_ordering(true);
  auto sub = client.CreateSubscription(request);
  if (sub.status().code() == google::cloud::StatusCode::kAlreadyExists) {
    std::cout << "The subscription already exists\n";
    return;
  }
  if (!sub) throw std::move(sub).status();

  std::cout << "The subscription was successfully created: "
            << sub->DebugString() << "\n";
}

C#

このサンプルを試す前に、クイックスタート: クライアントライブラリの使用の C# の設定手順を実施してください。詳細については、Pub/Sub C# API リファレンスドキュメントをご覧ください。


using Google.Cloud.PubSub.V1;
using Grpc.Core;

public class CreateSubscriptionWithOrderingSample
{
    public Subscription CreateSubscriptionWithOrdering(string projectId, string topicId, string subscriptionId)
    {
        SubscriberServiceApiClient subscriber = SubscriberServiceApiClient.Create();
        var topicName = TopicName.FromProjectTopic(projectId, topicId);
        var subscriptionName = SubscriptionName.FromProjectSubscription(projectId, subscriptionId);

        var subscriptionRequest = new Subscription
        {
            SubscriptionName = subscriptionName,
            TopicAsTopicName = topicName,
            EnableMessageOrdering = true
        };

        Subscription subscription = null;
        try
        {
            subscription = subscriber.CreateSubscription(subscriptionRequest);
        }
        catch (RpcException e) when (e.Status.StatusCode == StatusCode.AlreadyExists)
        {
            // Already exists.  That's fine.
        }
        return subscription;
    }
}

Go

このサンプルを試す前に、クイックスタート: クライアントライブラリの使用の Go の設定手順を実施してください。詳細については、Pub/Sub Go API のリファレンスドキュメントをご覧ください。

import (
	"context"
	"fmt"
	"io"
	"time"

	"cloud.google.com/go/pubsub"
)

func createWithOrdering(w io.Writer, projectID, subID string, topic *pubsub.Topic) error {
	// projectID := "my-project-id"
	// subID := "my-sub"
	// topic of type https://godoc.org/cloud.google.com/go/pubsub#Topic
	ctx := context.Background()
	client, err := pubsub.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("pubsub.NewClient: %w", err)
	}
	defer client.Close()

	// Message ordering can only be set when creating a subscription.
	sub, err := client.CreateSubscription(ctx, subID, pubsub.SubscriptionConfig{
		Topic:                 topic,
		AckDeadline:           20 * time.Second,
		EnableMessageOrdering: true,
	})
	if err != nil {
		return fmt.Errorf("CreateSubscription: %w", err)
	}
	fmt.Fprintf(w, "Created subscription: %v\n", sub)
	return nil
}

Java

このサンプルを試す前に、クイックスタート: クライアントライブラリの使用の Java の設定手順を実施してください。詳細については、Pub/Sub Java API のリファレンスドキュメントをご覧ください。

import com.google.cloud.pubsub.v1.SubscriptionAdminClient;
import com.google.pubsub.v1.ProjectSubscriptionName;
import com.google.pubsub.v1.ProjectTopicName;
import com.google.pubsub.v1.Subscription;
import java.io.IOException;

public class CreateSubscriptionWithOrdering {
  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String topicId = "your-topic-id";
    String subscriptionId = "your-subscription-id";

    createSubscriptionWithOrderingExample(projectId, topicId, subscriptionId);
  }

  public static void createSubscriptionWithOrderingExample(
      String projectId, String topicId, String subscriptionId) throws IOException {
    try (SubscriptionAdminClient subscriptionAdminClient = SubscriptionAdminClient.create()) {

      ProjectTopicName topicName = ProjectTopicName.of(projectId, topicId);
      ProjectSubscriptionName subscriptionName =
          ProjectSubscriptionName.of(projectId, subscriptionId);

      Subscription subscription =
          subscriptionAdminClient.createSubscription(
              Subscription.newBuilder()
                  .setName(subscriptionName.toString())
                  .setTopic(topicName.toString())
                  // Set message ordering to true for ordered messages in the subscription.
                  .setEnableMessageOrdering(true)
                  .build());

      System.out.println("Created a subscription with ordering: " + subscription.getAllFields());
    }
  }
}

Node.js

このサンプルを試す前に、クイックスタート: クライアントライブラリの使用の Node.js の設定手順を実施してください。詳細については、Pub/Sub Node.js API リファレンスドキュメントをご覧ください。

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const subscriptionNameOrId = 'YOUR_SUBSCRIPTION_NAME_OR_ID';

// Imports the Google Cloud client library
const {PubSub} = require('@google-cloud/pubsub');

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createSubscriptionWithOrdering(
  topicNameOrId,
  subscriptionNameOrId
) {
  // Creates a new subscription
  await pubSubClient
    .topic(topicNameOrId)
    .createSubscription(subscriptionNameOrId, {
      enableMessageOrdering: true,
    });
  console.log(
    `Created subscription ${subscriptionNameOrId} with ordering enabled.`
  );
  console.log(
    'To process messages in order, remember to add an ordering key to your messages.'
  );
}

Node.js

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const subscriptionNameOrId = 'YOUR_SUBSCRIPTION_NAME_OR_ID';

// Imports the Google Cloud client library
import {PubSub} from '@google-cloud/pubsub';

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createSubscriptionWithOrdering(
  topicNameOrId: string,
  subscriptionNameOrId: string
) {
  // Creates a new subscription
  await pubSubClient
    .topic(topicNameOrId)
    .createSubscription(subscriptionNameOrId, {
      enableMessageOrdering: true,
    });
  console.log(
    `Created subscription ${subscriptionNameOrId} with ordering enabled.`
  );
  console.log(
    'To process messages in order, remember to add an ordering key to your messages.'
  );
}

Python

このサンプルを試す前に、クイックスタート: クライアントライブラリの使用の Python の設定手順を実施してください。詳細については、Pub/Sub Python API のリファレンスドキュメントをご覧ください。

from google.cloud import pubsub_v1

# TODO(developer): Choose an existing topic.
# project_id = "your-project-id"
# topic_id = "your-topic-id"
# subscription_id = "your-subscription-id"

publisher = pubsub_v1.PublisherClient()
subscriber = pubsub_v1.SubscriberClient()
topic_path = publisher.topic_path(project_id, topic_id)
subscription_path = subscriber.subscription_path(project_id, subscription_id)

with subscriber:
    subscription = subscriber.create_subscription(
        request={
            "name": subscription_path,
            "topic": topic_path,
            "enable_message_ordering": True,
        }
    )
    print(f"Created subscription with ordering: {subscription}")

Ruby

このサンプルを試す前に、クイックスタート: クライアントライブラリの使用の Ruby の設定手順を実施してください。詳細については、Pub/Sub Ruby API リファレンスドキュメントをご覧ください。

# topic_id        = "your-topic-id"
# subscription_id = "your-subscription-id"

pubsub = Google::Cloud::Pubsub.new

topic        = pubsub.topic topic_id
subscription = topic.subscribe subscription_id,
                               message_ordering: true

puts "Pull subscription #{subscription_id} created with message ordering."

次のステップ

順序指定に関するブログ記事を読む。
再試行不可能なエラーが発生した場合にメッセージをパブリッシュし続ける手順については、順序指定キーを使用してリクエストを再試行するをご覧ください。
サブスクリプションをモニタリングします。
順序指定キーを使用してメッセージをパブリッシュする方法を確認する。

メッセージの順序指定

メッセージの順序指定の概要

順序付きメッセージを使用する際の考慮事項

メッセージの順序付けに関するサブスクライバー クライアントの動作

StreamingPull サブスクライバー クライアント

pull サブスクライバー クライアント

push サブスクライバー クライアント

サブスクライバー クライアントをエクスポートする

メッセージの順序指定を有効にする

Console

gcloud

REST

C++

C#

Go

Java

Node.js

Node.js

Python

Ruby

次のステップ

メッセージの順序付けに関するサブスクライバークライアントの動作

StreamingPull サブスクライバークライアント

pull サブスクライバークライアント

push サブスクライバークライアント

サブスクライバークライアントをエクスポートする