Elaborare più messaggi con il controllo della contemporaneità

Punto chiave: il controllo della contemporaneità consente di configurare il numero di thread o Flussi di dati utilizzati dalla libreria client di Pub/Sub per eseguire il pull dei messaggi. Con un numero maggiore di thread, puoi elaborare più messaggi contemporaneamente.

Il controllo della contemporaneità è una funzionalità disponibile in Pub/Sub libreria client di alto livello. Puoi anche implementare il tuo controllo della contemporaneità quando Stai utilizzando una libreria di basso livello.

Il supporto del controllo della concorrenza dipende dal linguaggio di programmazione della libreria client. Per le implementazioni linguistiche che supportano i thread paralleli, come C++, Go e Java, le librerie client sono la scelta predefinita per il numero di thread.

Questa scelta potrebbe non essere ottimale per la tua applicazione. Ad esempio, se la tua applicazione di abbonamento non è al passo con il volume di messaggi in entrata e non è vincolata alla CPU, devi aumentare il numero di thread. Per operazioni di elaborazione dei messaggi che richiedono un'elevata intensità di risorse della CPU, potrebbe essere opportuno ridurre il numero di thread.

Configurazioni dei controlli della contemporaneità

I valori predefiniti per le variabili di controllo della concorrenza e i nomi delle variabili possono variare in base alle librerie client. Ad esempio, nella libreria client Java, i metodi per configurare il controllo della concorrenza sono setSystemExecutorProvider(), setExecutorProvider() e setParallelPullCount().

• setParallelPullCount() ti consente di decidere quanti stream aprire. Puoi aprire più stream se il client sottoscrittore è in grado di gestire più dati di quelli inviati su un singolo stream, ovvero 10 MB/s.

• setExecutorProvider() ti consente di personalizzare il provider dell'executor utilizzato per elaborare i messaggi. Ad esempio, puoi cambiare il provider di esecutori in uno che restituisce un singolo esecutore condiviso con un numero limitato di thread client con più sottoscrittori. Questa configurazione consente di limitare il numero i thread creati.

• setSystemExecutorProvider() consente di personalizzare il provider di esecutori utilizzata per la gestione dei leasing. In genere, non configuri questo valore a meno che vuoi utilizzare lo stesso provider di esecutori in setExecutorProvider e setSystemExecutorProvider. Ad esempio, puoi utilizzare lo stesso fornitore di agenti se hai un numero di abbonamenti a basso throughput. L'utilizzo dello stesso valore limita il numero di thread nel client.

Il numero totale di thread utilizzati per il controllo della concorrenza dipende dal fornitore dell'executor passato nella libreria client e dal numero di pull paralleli.

Esempi di codice per il controllo della contemporaneità

C++

Prima di provare questo esempio, segui le istruzioni di configurazione C++ riportate nella guida rapida all'utilizzo delle librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Pub/Sub C++.

namespace pubsub = ::google::cloud::pubsub;
using ::google::cloud::future;
using ::google::cloud::GrpcBackgroundThreadPoolSizeOption;
using ::google::cloud::Options;
using ::google::cloud::StatusOr;
auto sample = [](std::string project_id, std::string subscription_id) {
  // Create a subscriber with 16 threads handling I/O work, by default the
  // library creates `std::thread::hardware_concurrency()` threads.
  auto subscriber = pubsub::Subscriber(pubsub::MakeSubscriberConnection(
      pubsub::Subscription(std::move(project_id), std::move(subscription_id)),
      Options{}
          .set<pubsub::MaxConcurrencyOption>(8)
          .set<GrpcBackgroundThreadPoolSizeOption>(16)));

  // Create a subscription where up to 8 messages are handled concurrently. By
  // default the library uses `std::thread::hardware_concurrency()` as the
  // maximum number of concurrent callbacks.
  auto session = subscriber.Subscribe(
      [](pubsub::Message const& m, pubsub::AckHandler h) {
        // This handler executes in the I/O threads, applications could use,
        // std::async(), a thread-pool, or any other mechanism to transfer the
        // execution to other threads.
        std::cout << "Received message " << m << "\n";
        std::move(h).ack();
        PleaseIgnoreThisSimplifiesTestingTheSamples();
      });
  return std::make_pair(subscriber, std::move(session));
};

Vai

Prima di provare questo esempio, segui le istruzioni di configurazione di Go in Guida rapida all'utilizzo delle librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Pub/Sub Go.

import (
	"context"
	"fmt"
	"io"
	"sync/atomic"
	"time"

	"cloud.google.com/go/pubsub"
)

func pullMsgsConcurrencyControl(w io.Writer, projectID, subID string) error {
	// projectID := "my-project-id"
	// subID := "my-sub"
	ctx := context.Background()
	client, err := pubsub.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("pubsub.NewClient: %w", err)
	}
	defer client.Close()

	sub := client.Subscription(subID)
	// Must set ReceiveSettings.Synchronous to false (or leave as default) to enable
	// concurrency pulling of messages. Otherwise, NumGoroutines will be set to 1.
	sub.ReceiveSettings.Synchronous = false
	// NumGoroutines determines the number of goroutines sub.Receive will spawn to pull
	// messages.
	sub.ReceiveSettings.NumGoroutines = 16
	// MaxOutstandingMessages limits the number of concurrent handlers of messages.
	// In this case, up to 8 unacked messages can be handled concurrently.
	// Note, even in synchronous mode, messages pulled in a batch can still be handled
	// concurrently.
	sub.ReceiveSettings.MaxOutstandingMessages = 8

	// Receive messages for 10 seconds, which simplifies testing.
	// Comment this out in production, since `Receive` should
	// be used as a long running operation.
	ctx, cancel := context.WithTimeout(ctx, 10*time.Second)
	defer cancel()

	var received int32

	// Receive blocks until the context is cancelled or an error occurs.
	err = sub.Receive(ctx, func(_ context.Context, msg *pubsub.Message) {
		atomic.AddInt32(&received, 1)
		msg.Ack()
	})
	if err != nil {
		return fmt.Errorf("sub.Receive returned error: %w", err)
	}
	fmt.Fprintf(w, "Received %d messages\n", received)

	return nil
}

Java

Prima di provare questo esempio, segui le istruzioni di configurazione di Java riportate nella guida rapida all'utilizzo delle librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Java Pub/Sub.

import com.google.api.gax.core.ExecutorProvider;
import com.google.api.gax.core.InstantiatingExecutorProvider;
import com.google.cloud.pubsub.v1.AckReplyConsumer;
import com.google.cloud.pubsub.v1.MessageReceiver;
import com.google.cloud.pubsub.v1.Subscriber;
import com.google.pubsub.v1.ProjectSubscriptionName;
import com.google.pubsub.v1.PubsubMessage;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.TimeoutException;

public class SubscribeWithConcurrencyControlExample {
  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String subscriptionId = "your-subscription-id";

    subscribeWithConcurrencyControlExample(projectId, subscriptionId);
  }

  public static void subscribeWithConcurrencyControlExample(
      String projectId, String subscriptionId) {
    ProjectSubscriptionName subscriptionName =
        ProjectSubscriptionName.of(projectId, subscriptionId);

    // Instantiate an asynchronous message receiver.
    MessageReceiver receiver =
        (PubsubMessage message, AckReplyConsumer consumer) -> {
          // Handle incoming message, then ack the received message.
          System.out.println("Id: " + message.getMessageId());
          System.out.println("Data: " + message.getData().toStringUtf8());
          consumer.ack();
        };

    Subscriber subscriber = null;
    try {
      // Provides an executor service for processing messages. The default `executorProvider` used
      // by the subscriber has a default thread count of 5.
      ExecutorProvider executorProvider =
          InstantiatingExecutorProvider.newBuilder().setExecutorThreadCount(4).build();

      // `setParallelPullCount` determines how many StreamingPull streams the subscriber will open
      // to receive message. It defaults to 1. `setExecutorProvider` configures an executor for the
      // subscriber to process messages. Here, the subscriber is configured to open 2 streams for
      // receiving messages, each stream creates a new executor with 4 threads to help process the
      // message callbacks. In total 2x4=8 threads are used for message processing.
      subscriber =
          Subscriber.newBuilder(subscriptionName, receiver)
              .setParallelPullCount(2)
              .setExecutorProvider(executorProvider)
              .build();

      // Start the subscriber.
      subscriber.startAsync().awaitRunning();
      System.out.printf("Listening for messages on %s:\n", subscriptionName.toString());
      // Allow the subscriber to run for 30s unless an unrecoverable error occurs.
      subscriber.awaitTerminated(30, TimeUnit.SECONDS);
    } catch (TimeoutException timeoutException) {
      // Shut down the subscriber after 30s. Stop receiving messages.
      subscriber.stopAsync();
    }
  }
}

Ruby

Prima di provare questo esempio, segui le istruzioni di configurazione di Ruby in Guida rapida all'utilizzo delle librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Ruby Pub/Sub.

# subscription_id = "your-subscription-id"

pubsub = Google::Cloud::Pubsub.new

subscription = pubsub.subscription subscription_id
# Use 2 threads for streaming, 4 threads for executing callbacks and 2 threads
# for sending acknowledgements and/or delays
subscriber   = subscription.listen streams: 2, threads: {
  callback: 4,
  push:     2
} do |received_message|
  puts "Received message: #{received_message.data}"
  received_message.acknowledge!
end

subscriber.start
# Let the main thread sleep for 60 seconds so the thread for listening
# messages does not quit
sleep 60
subscriber.stop.wait!

Passaggi successivi

Scopri le altre opzioni di pubblicazione che puoi configurare per un abbonamento:

• Gestire i picchi temporanei con il controllo del flusso

• Gestire gli errori relativi ai messaggi con il criterio di ripetizione dell'abbonamento

• Inoltrare messaggi non consegnati a un argomento messaggi non recapitabili

• Riprodurre i messaggi per i quali è stato ricevuto l'acknowledgement o eliminare i messaggi

• Estendi il tempo di ACK con la gestione dei leasing

• Ricevere i messaggi in ordine

• Filtrare i messaggi in base ai rispettivi attributi

• Ricevere e confermare i messaggi una sola volta