Membuat topik impor Azure Event Hubs

Topik impor Azure Event Hubs memungkinkan Anda terus menyerap data dari Azure Event Hubs sebagai sumber eksternal dan ke Pub/Sub. Kemudian, Anda dapat melakukan streaming data ke salah satu tujuan yang didukung Pub/Sub.

Catatan: Hanya Azure Event Hubs tingkat Standar dan Premium yang dapat diimpor ke Pub/Sub.

Dokumen ini menunjukkan cara membuat dan mengelola topik impor Azure Event Hubs. Untuk membuat topik standar, lihat Membuat topik standar.

Untuk mengetahui informasi selengkapnya tentang topik impor, lihat Tentang topik impor.

Sebelum memulai

• Ketahui lebih lanjut proses publikasi Pub/Sub.

• Konfigurasikan peran dan izin yang diperlukan untuk mengelola topik impor Azure Event Hubs, termasuk hal berikut:

  • Tambahkan peran penayang Pub/Sub ke akun layanan Pub/Sub

  • Menambahkan peran pengguna akun layanan ke akun layanan

• Siapkan workload identity federation sehingga Google Cloud dapat mengakses layanan streaming eksternal.

Peran dan izin yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat dan mengelola topik impor Azure Event Hubs, minta administrator untuk memberi Anda peran IAM Pub/Sub Editor (roles/pubsub.editor) di topik atau project Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat dan mengelola topik impor Azure Event Hubs. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat dan mengelola topik impor Azure Event Hubs:

• Buat topik impor: pubsub.topics.create
• Menghapus topik impor: pubsub.topics.delete
• Mendapatkan topik impor: pubsub.topics.get
• Cantumkan topik impor: pubsub.topics.list
• Memublikasikan ke topik impor: pubsub.topics.publish
• Memperbarui topik impor: pubsub.topics.update
• Dapatkan kebijakan IAM untuk topik impor: pubsub.topics.getIamPolicy
• Konfigurasikan kebijakan IAM untuk topik impor: pubsub.topics.setIamPolicy

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Anda dapat mengonfigurasi kontrol akses di tingkat project dan tingkat resource individual.

Menyiapkan identitas gabungan untuk mengakses Azure Event Hubs

Workload Identity Federation memungkinkan Google Cloud layanan mengakses workload yang berjalan di luar Google Cloud. Dengan federasi identitas, Anda tidak perlu mempertahankan atau meneruskan kredensial ke Google Cloud untuk mengakses resource di cloud lain. Sebagai gantinya, Anda dapat menggunakan identitas workload itu sendiri untuk melakukan autentikasi ke Google Cloud dan mengakses resource.

Membuat akun layanan di Google Cloud

Ini langkah opsional. Jika sudah memiliki akun layanan, Anda dapat menggunakannya dalam prosedur ini, bukan membuat akun layanan baru. Jika Anda menggunakan akun layanan yang ada, buka Mencatat ID unik akun layanan untuk langkah berikutnya.

Untuk topik impor Azure Event Hubs, Pub/Sub menggunakan akun layanan sebagai identitas untuk mengakses resource dari Azure.

Untuk mengetahui informasi selengkapnya tentang cara membuat akun layanan, termasuk prasyarat, peran dan izin yang diperlukan, serta panduan penamaan, lihat Membuat akun layanan. Setelah membuat akun layanan, Anda mungkin perlu menunggu selama 60 detik atau lebih sebelum menggunakan akun layanan. Perilaku ini terjadi karena operasi baca pada akhirnya konsisten; perlu waktu hingga akun layanan baru terlihat.

Catat ID unik akun layanan

Anda memerlukan ID unik akun layanan untuk menyiapkan Pendaftaran aplikasi di Azure.

1. Di konsol Google Cloud, buka halaman detail Service account.

   Buka akun layanan

2. Klik akun layanan yang baru saja Anda buat atau yang ingin Anda gunakan.

3. Dari halaman Detail akun layanan, catat nomor ID Unik.

   Anda memerlukan ID sebagai bagian dari alur kerja untuk menyiapkan Pendaftaran aplikasi di Azure.

Menambahkan peran pembuat token akun layanan ke akun layanan Pub/Sub

Catatan: Pub/Sub membuat dan mengelola akun layanan untuk setiap project. Akun layanan memiliki format berikut: service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com. Lakukan prosedur ini hanya jika akun layanan Pub/Sub tidak memiliki peran Agen Layanan Pub/Sub (roles/pubsub.serviceAgent).

Peran pembuat token akun layanan (roles/iam.serviceAccountTokenCreator) memungkinkan akun utama membuat kredensial jangka pendek untuk akun layanan. Token atau kredensial ini digunakan untuk meniru identitas akun layanan.

Untuk informasi selengkapnya tentang peniruan akun layanan, lihat Peniruan akun layanan.

Anda juga dapat menambahkan peran penayang Pub/Sub (roles/pubsub.publisher) selama prosedur ini. Untuk mengetahui informasi selengkapnya tentang peran dan alasan Anda menambahkannya, lihat Menambahkan peran penayang Pub/Sub ke akun layanan Pub/Sub.

1. Di konsol Google Cloud, buka halaman IAM.

   Buka IAM

2. Klik kotak centang Sertakan pemberian peran yang disediakan Google.

3. Cari akun layanan yang memiliki format service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com.

4. Untuk akun layanan ini, klik tombol Edit Principal.

5. Jika diperlukan, klik Tambahkan peran lain.

6. Telusuri dan klik Peran pembuat token akun layanan (roles/iam.serviceAccountTokenCreator).

7. Klik Simpan.

Membuat pendaftaran Aplikasi dengan federasi identitas

Untuk menyerap data dari Azure Event Hubs, daftarkan aplikasi ke platform Microsoft Identity dan aktifkan federasi identitas untuk akun layanan Anda. Tindakan ini memungkinkan akun layanan Anda mengautentikasi ke Azure.

Untuk informasi selengkapnya tentang cara mendaftarkan aplikasi dengan platform Microsoft Identity, lihat panduan awal pendaftaran aplikasi Azure.

1. Login ke portal Azure dan buka halaman Microsoft Entra ID.

2. Di panel navigasi, klik Kelola > Pendaftaran aplikasi.

3. Klik New registration.

4. Beri nama aplikasi dan tetapkan Jenis akun yang didukung ke apa pun selain Khusus akun Microsoft pribadi.

5. Untuk mendaftarkan permohonan, klik Register.

6. Buka aplikasi dan klik Manage > Certificates & Secrets.

7. Klik Tambahkan kredensial.

8. Untuk mengonfigurasi kredensial gabungan, klik Other issuer.

9. Untuk kolom Issuer, masukkan https://accounts.google.com.

10. Untuk kolom Value, masukkan ID unik akun layanan Pub/Sub Anda.

    Anda dapat menemukan ID ini di Mencatat ID unik akun layanan.

11. Beri nama identitas gabungan, lalu klik Tambahkan.

Memberikan penetapan peran ke Aplikasi terdaftar

Agar Pub/Sub dapat membaca dari hub peristiwa Azure, berikan peran yang diperlukan ke aplikasi terdaftar Anda.

1. Login ke portal Azure dan buka namespace Event Hubs Anda.

   Untuk membuka namespace, masukkan Event Hubs di penelusuran, lalu klik salah satu namespace.

2. Di sidebar, klik Access control (IAM).

3. Klik Tambahkan > Tambahkan penetapan peran.

4. Pilih peran Azure Event Hubs Data Receiver, lalu klik Next.

   Tindakan ini akan memberikan akses baca ke akun layanan Pub/Sub ke event hub Azure Anda.

5. Klik +Select members, lalu telusuri aplikasi terdaftar Anda.

6. Ketik nama aplikasi terdaftar di kolom penelusuran.

7. Klik nama aplikasi, lalu klik Pilih.

8. Klik Tinjau + Tetapkan.

9. Ulangi langkah 3–6 dan tambahkan peran Azure Event Hubs Data Sender.

   Peran ini memberikan izin Akun Layanan Google Cloud untuk mengambil metadata dari event hub Azure Anda.

Untuk informasi selengkapnya tentang cara menetapkan peran Azure, buka halaman Menetapkan peran Azure.

Menambahkan peran penayang Pub/Sub ke akun utama Pub/Sub

Untuk mengaktifkan publikasi, Anda harus menetapkan peran penayang ke akun layanan Pub/Sub agar Pub/Sub dapat memublikasikan ke topik impor Azure Event Hubs.

Mengaktifkan publikasi dari semua topik

Gunakan metode ini jika Anda belum membuat topik impor Azure Event Hubs.

1. Di konsol Google Cloud, buka halaman IAM.

   Buka IAM

2. Klik kotak centang Sertakan pemberian peran yang disediakan Google.

3. Cari akun layanan yang memiliki format service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com.

4. Untuk akun layanan ini, klik tombol Edit Principal.

5. Jika diperlukan, klik Tambahkan peran lain.

6. Telusuri dan klik Peran penayang Pub/Sub (roles/pubsub.publisher).

7. Klik Simpan.

Mengaktifkan publikasi dari satu topik

Gunakan metode ini hanya jika topik impor Azure Event Hubs sudah ada.

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Jalankan perintah gcloud pubsub topics add-iam-policy-binding:

   gcloud pubsub topics add-iam-policy-binding TOPIC_ID \
      --member="serviceAccount:[e-mail]" \
      --role="roles/pubsub.publisher"

   Ganti kode berikut:

   • TOPIC_ID: ID topik topik impor Azure Event Hubs.

   • PROJECT_NUMBER: nomor project. Untuk melihat nomor project, lihat Mengidentifikasi project.

Menambahkan peran pengguna akun layanan ke akun layanan

Peran Pengguna Akun Layanan (roles/iam.serviceAccountUser) mencakup izin iam.serviceAccounts.actAs yang memungkinkan akun utama melampirkan akun layanan ke setelan penyerapan topik impor Azure Event Hubs dan menggunakan akun layanan tersebut untuk identitas gabungan.

1. Di konsol Google Cloud, buka halaman IAM.

   Buka IAM

2. Untuk akun utama yang mengeluarkan panggilan pembuatan atau pembaruan topik, klik tombol Edit Principal.

3. Jika diperlukan, klik Tambahkan peran lain.

4. Telusuri dan klik Peran pengguna akun layanan (roles/iam.serviceAccountUser).

5. Klik Simpan.

Menggunakan topik impor Azure Event Hubs

Anda dapat membuat topik impor baru atau mengedit topik yang ada.

Pertimbangan

Perhatian: Jika Anda sudah memiliki data di Azure Event Hubs, buat topik standar dan langganan default terlebih dahulu tanpa mengaktifkan setelan penyerapan. Kemudian, konversikan topik menjadi topik impor. Metode ini memastikan bahwa semua pesan diterima oleh langganan.

• Membuat topik dan langganan secara terpisah, meskipun dilakukan secara cepat, dapat menyebabkan hilangnya data. Ada periode singkat saat topik tersedia tanpa langganan. Jika ada data yang dikirim ke topik selama waktu ini, data tersebut akan hilang. Dengan membuat topik terlebih dahulu, membuat langganan, lalu mengonversi topik menjadi topik impor, Anda menjamin bahwa tidak ada pesan yang terlewat selama proses impor.

• Jika perlu membuat ulang event hub Azure dari topik impor yang ada dengan nama yang sama, Anda tidak dapat hanya menghapus event hub Azure dan membuatnya ulang. Tindakan ini dapat membatalkan validasi pengelolaan offset Pub/Sub, yang dapat menyebabkan hilangnya data. Untuk mengurangi hal ini, ikuti langkah-langkah berikut:

  • Menghapus topik impor Pub/Sub
  • Menghapus hub peristiwa Azure
  • Membuat event hub Azure
  • Membuat topik impor Pub/Sub

• Data dari event hub Azure selalu dibaca dari offset paling awal.

Membuat topik impor Azure Event Hubs

Untuk mengetahui lebih lanjut properti yang terkait dengan topik, lihat Properti topik.

Pastikan Anda telah menyelesaikan prosedur berikut:

• Menyiapkan identitas gabungan untuk mengakses Azure Event Hubs

• Tambahkan peran penayang Pub/Sub ke akun layanan Pub/Sub

• Menambahkan peran pengguna akun layanan ke akun utama IAM

Untuk membuat topik impor Azure Event Hubs, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud, buka halaman Topics.

   Buka Topik

2. Klik Create topic.

3. Di kolom Topic ID, masukkan ID untuk topik impor Azure Event Hubs Anda. Untuk informasi selengkapnya tentang topik penamaan, lihat panduan penamaan.

4. Pilih Tambahkan langganan default.

5. Pilih Aktifkan penyerapan.

6. Untuk sumber transfer, pilih Azure Event Hubs.

7. Masukkan detail berikut:

   • Grup resource: nama Grup Resource Azure yang berisi namespace Azure Event Hubs yang ingin Anda serap ke dalam Pub/Sub.

   • Namespace Event Hub: nama namespace Azure Event Hubs yang berisi event hub Azure yang ingin Anda serap ke Pub/Sub.

   • Event Hub: nama event hub Azure yang ingin Anda masukkan ke Pub/Sub.

   • Client ID: ID aplikasi (klien) dari Aplikasi terdaftar di Azure yang berisi identitas gabungan Akun Layanan Google Cloud. Nilai ini harus berupa UUID. Untuk informasi selengkapnya, buka halaman Pendaftaran Aplikasi Azure.

   • Tenant ID: ID direktori (tenant) dari tenant yang memiliki event hub Azure yang ingin Anda serap ke dalam Pub/Sub. Nilai ini harus berupa UUID. Untuk menemukan ID tenant, buka halaman Azure Get subscription and tenant IDs.

   • Subscription ID: ID langganan dari langganan yang memiliki grup resource Azure Event Hubs. Nilai ini harus berupa UUID. Untuk menemukan ID langganan, buka halaman Azure Get subscription and tenant IDs.

   • Akun layanan: akun layanan yang Anda buat di Membuat akun layanan di Google Cloud.

8. Biarkan kolom lainnya tetap pada nilai default.

9. Klik Create topic.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Jalankan perintah gcloud pubsub topics create:

   gcloud pubsub topics create TOPIC_ID \
     --azure-event-hubs-ingestion-resource-group RESOURCE_GROUP \
     --azure-event-hubs-ingestion-namespace NAMESPACE \
     --azure-event-hubs-ingestion-event-hub EVENT_HUB \
     --azure-event-hubs-ingestion-client-id CLIENT_ID \
     --azure-event-hubs-ingestion-tenant-id TENANT_ID \
     --azure-event-hubs-ingestion-subscription-id SUBSCRIPTION_ID \
     --azure-event-hubs-ingestion-service-account SERVICE_ACCOUNT

   Ganti kode berikut:

• TOPIC_ID: nama atau ID topik Pub/Sub Anda.
• RESOURCE_GROUP: nama grup resource Azure Event Hubs yang berisi namespace Azure Event Hubs yang ingin Anda serap ke dalam Pub/Sub.
• NAMESPACE: nama namespace Azure Event Hubs yang berisi event hub Azure yang Anda rencanakan untuk ditransfer ke Pub/Sub.
• EVENT_HUB: nama event hub Azure yang ingin Anda serap ke dalam Pub/Sub.
• CLIENT_ID: ID aplikasi (klien) Aplikasi terdaftar di Azure yang berisi identitas gabungan Google Cloud Akun Layanan. Nilai ini harus berupa UUID. Untuk informasi selengkapnya, buka halaman Pendaftaran Aplikasi Azure.
• TENANT_ID: ID direktori (tenant) dari tenant yang memiliki Azure Event Hub yang ingin Anda transfer ke Pub/Sub. Nilai ini harus berupa UUID. Untuk menemukan ID tenant, buka halaman peristiwa Azure halaman Azure Get subscription and tenant IDs.
• SUBSCRIPTION_ID: ID langganan langganan yang memiliki event hub Azure yang ingin Anda transfer ke Pub/Sub. Nilai ini harus berupa UUID. Untuk menemukan ID langganan, buka halaman Azure Get subscription and tenant IDs.
• SERVICE_ACCOUNT: akun layanan yang Anda buat di Membuat akun layanan di Google Cloud

Go

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di panduan memulai Pub/Sub menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Go Pub/Sub.

Untuk melakukan autentikasi ke Pub/Sub, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/pubsub"
)

func createTopicWithAzureEventHubsIngestion(w io.Writer, projectID, topicID, resourceGroup, namespace, eventHub, clientID, tenantID, subID, gcpSA string) error {
	// projectID := "my-project-id"
	// topicID := "my-topic"

	// // Azure Event Hubs ingestion settings.
	// resourceGroup := "resource-group"
	// namespace := "namespace"
	// eventHub := "event-hub"
	// clientID := "client-id"
	// tenantID := "tenant-id"
	// subID := "subscription-id"
	// gcpSA := "gcp-service-account"

	ctx := context.Background()
	client, err := pubsub.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("pubsub.NewClient: %w", err)
	}
	defer client.Close()

	cfg := &pubsub.TopicConfig{
		IngestionDataSourceSettings: &pubsub.IngestionDataSourceSettings{
			Source: &pubsub.IngestionDataSourceAzureEventHubs{
				ResourceGroup:     resourceGroup,
				Namespace:         namespace,
				EventHub:          eventHub,
				ClientID:          clientID,
				TenantID:          tenantID,
				SubscriptionID:    subID,
				GCPServiceAccount: gcpSA,
			},
		},
	}
	t, err := client.CreateTopicWithConfig(ctx, topicID, cfg)
	if err != nil {
		return fmt.Errorf("CreateTopic: %w", err)
	}
	fmt.Fprintf(w, "Created topic with azure event hubs ingestion: %v\n", t)
	return nil
}

Java

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di panduan memulai Pub/Sub menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Java Pub/Sub.

Untuk melakukan autentikasi ke Pub/Sub, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

import com.google.cloud.pubsub.v1.TopicAdminClient;
import com.google.pubsub.v1.IngestionDataSourceSettings;
import com.google.pubsub.v1.Topic;
import com.google.pubsub.v1.TopicName;
import java.io.IOException;

public class CreateTopicWithAzureEventHubsIngestionExample {
  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String topicId = "your-topic-id";
    // Azure Event Hubs ingestion settings.
    String resourceGroup = "resource-group";
    String namespace = "namespace";
    String eventHub = "event-hub";
    String clientId = "client-id";
    String tenantId = "tenant-id";
    String subscriptionId = "subscription-id";
    String gcpServiceAccount = "gcp-service-account";

    createTopicWithAzureEventHubsIngestionExample(
        projectId,
        topicId,
        resourceGroup,
        namespace,
        eventHub,
        clientId,
        tenantId,
        subscriptionId,
        gcpServiceAccount);
  }

  public static void createTopicWithAzureEventHubsIngestionExample(
      String projectId,
      String topicId,
      String resourceGroup,
      String namespace,
      String eventHub,
      String clientId,
      String tenantId,
      String subscriptionId,
      String gcpServiceAccount)
      throws IOException {
    try (TopicAdminClient topicAdminClient = TopicAdminClient.create()) {
      TopicName topicName = TopicName.of(projectId, topicId);

      IngestionDataSourceSettings.AzureEventHubs azureEventHubs =
          IngestionDataSourceSettings.AzureEventHubs.newBuilder()
              .setResourceGroup(resourceGroup)
              .setNamespace(namespace)
              .setEventHub(eventHub)
              .setClientId(clientId)
              .setTenantId(tenantId)
              .setSubscriptionId(subscriptionId)
              .setGcpServiceAccount(gcpServiceAccount)
              .build();
      IngestionDataSourceSettings ingestionDataSourceSettings =
          IngestionDataSourceSettings.newBuilder().setAzureEventHubs(azureEventHubs).build();

      Topic topic =
          topicAdminClient.createTopic(
              Topic.newBuilder()
                  .setName(topicName.toString())
                  .setIngestionDataSourceSettings(ingestionDataSourceSettings)
                  .build());

      System.out.println(
          "Created topic with Azure Event Hubs ingestion settings: " + topic.getAllFields());
    }
  }
}

Node.js

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Node.js di panduan memulai Pub/Sub menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Node.js Pub/Sub.

Untuk melakukan autentikasi ke Pub/Sub, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const resourceGroup = 'YOUR_RESOURCE_GROUP';
// const namespace = 'YOUR_NAMESPACE';
// const eventHub = 'YOUR_EVENT_HUB';
// const clientId = 'YOUR_CLIENT_ID';
// const tenantId = 'YOUR_TENANT_ID';
// const subscriptionId = 'YOUR_SUBSCRIPTION_ID';
// const gcpServiceAccount = 'ingestion-account@...';

// Imports the Google Cloud client library
const {PubSub} = require('@google-cloud/pubsub');

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithAzureEventHubsIngestion(
  topicNameOrId,
  resourceGroup,
  namespace,
  eventHub,
  clientId,
  tenantId,
  subscriptionId,
  gcpServiceAccount
) {
  // Creates a new topic with Azure Event Hubs ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      azureEventHubs: {
        resourceGroup,
        namespace,
        eventHub,
        clientId,
        tenantId,
        subscriptionId,
        gcpServiceAccount,
      },
    },
  });
  console.log(
    `Topic ${topicNameOrId} created with Azure Event Hubs ingestion.`
  );
}

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di panduan memulai Pub/Sub menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Python Pub/Sub.

Untuk melakukan autentikasi ke Pub/Sub, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

from google.cloud import pubsub_v1
from google.pubsub_v1.types import Topic
from google.pubsub_v1.types import IngestionDataSourceSettings

# TODO(developer)
# project_id = "your-project-id"
# topic_id = "your-topic-id"
# resource_group = "your-resource-group"
# namespace = "your-namespace"
# event_hub = "your-event-hub"
# client_id = "your-client-id"
# tenant_id = "your-tenant-id"
# subscription_id = "your-subscription-id"
# gcp_service_account = "your-gcp-service-account"

publisher = pubsub_v1.PublisherClient()
topic_path = publisher.topic_path(project_id, topic_id)

request = Topic(
    name=topic_path,
    ingestion_data_source_settings=IngestionDataSourceSettings(
        azure_event_hubs=IngestionDataSourceSettings.AzureEventHubs(
            resource_group=resource_group,
            namespace=namespace,
            event_hub=event_hub,
            client_id=client_id,
            tenant_id=tenant_id,
            subscription_id=subscription_id,
            gcp_service_account=gcp_service_account,
        )
    ),
)

topic = publisher.create_topic(request=request)

print(f"Created topic: {topic.name} with Azure Event Hubs Ingestion Settings")

C++

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C++ di panduan memulai Pub/Sub menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API C++ Pub/Sub.

Untuk melakukan autentikasi ke Pub/Sub, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

namespace pubsub = ::google::cloud::pubsub;
namespace pubsub_admin = ::google::cloud::pubsub_admin;
[](pubsub_admin::TopicAdminClient client, std::string project_id,
   std::string topic_id, std::string const& resource_group,
   std::string const& event_hubs_namespace, std::string const& event_hub,
   std::string const& client_id, std::string const& tenant_id,
   std::string const& subscription_id,
   std::string const& gcp_service_account) {
  google::pubsub::v1::Topic request;
  request.set_name(
      pubsub::Topic(std::move(project_id), std::move(topic_id)).FullName());
  auto* azure_event_hubs = request.mutable_ingestion_data_source_settings()
                               ->mutable_azure_event_hubs();
  azure_event_hubs->set_resource_group(resource_group);
  azure_event_hubs->set_namespace_(event_hubs_namespace);
  azure_event_hubs->set_event_hub(event_hub);
  azure_event_hubs->set_client_id(client_id);
  azure_event_hubs->set_tenant_id(tenant_id);
  azure_event_hubs->set_subscription_id(subscription_id);
  azure_event_hubs->set_gcp_service_account(gcp_service_account);

  auto topic = client.CreateTopic(request);
  // Note that kAlreadyExists is a possible error when the library retries.
  if (topic.status().code() == google::cloud::StatusCode::kAlreadyExists) {
    std::cout << "The topic already exists\n";
    return;
  }
  if (!topic) throw std::move(topic).status();

  std::cout << "The topic was successfully created: " << topic->DebugString()
            << "\n";
}

Node.js (TypeScript)

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Node.js di panduan memulai Pub/Sub menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Node.js Pub/Sub.

Untuk melakukan autentikasi ke Pub/Sub, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const resourceGroup = 'YOUR_RESOURCE_GROUP';
// const namespace = 'YOUR_NAMESPACE';
// const eventHub = 'YOUR_EVENT_HUB';
// const clientId = 'YOUR_CLIENT_ID';
// const tenantId = 'YOUR_TENANT_ID';
// const subscriptionId = 'YOUR_SUBSCRIPTION_ID';
// const gcpServiceAccount = 'ingestion-account@...';

// Imports the Google Cloud client library
import {PubSub} from '@google-cloud/pubsub';

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithAzureEventHubsIngestion(
  topicNameOrId: string,
  resourceGroup: string,
  namespace: string,
  eventHub: string,
  clientId: string,
  tenantId: string,
  subscriptionId: string,
  gcpServiceAccount: string
) {
  // Creates a new topic with Azure Event Hubs ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      azureEventHubs: {
        resourceGroup,
        namespace,
        eventHub,
        clientId,
        tenantId,
        subscriptionId,
        gcpServiceAccount,
      },
    },
  });
  console.log(
    `Topic ${topicNameOrId} created with Azure Event Hubs ingestion.`
  );
}

Jika Anda mengalami masalah, lihat Memecahkan masalah topik impor Azure Event Hubs.

Mengedit topik impor Azure Event Hubs

Untuk mengedit setelan sumber data penyerapan topik impor Azure Event Hubs, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud, buka halaman Topics.

   Buka Topik

2. Klik topik impor Azure Event Hubs.

3. Di halaman detail topik, klik Edit.

4. Perbarui kolom yang ingin diubah.

5. Klik Perbarui.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Jalankan perintah gcloud pubsub topics update dengan semua flag yang disebutkan dalam contoh berikut:

   gcloud pubsub topics update TOPIC_ID \
       --azure-event-hubs-ingestion-resource-group RESOURCE_GROUP \
       --azure-event-hubs-ingestion-namespace NAMESPACE \
       --azure-event-hubs-ingestion-event-hub EVENT_HUB \
       --azure-event-hubs-ingestion-client-id CLIENT_ID \
       --azure-event-hubs-ingestion-tenant-id TENANT_ID \
       --azure-event-hubs-ingestion-subscription-id SUBSCRIPTION_ID \
       --azure-event-hubs-ingestion-service-account SERVICE_ACCOUNT

   Ganti kode berikut:

   • TOPIC_ID: nama atau ID topik Pub/Sub Anda.
   • RESOURCE_GROUP: nama grup resource Azure Event Hubs yang berisi namespace Azure Event Hubs yang Anda transfer ke Pub/Sub.
   • NAMESPACE: nama namespace Azure Event Hubs yang berisi event hub Azure yang Anda transfer ke Pub/Sub.
   • EVENT_HUB: nama event hub Azure yang Anda transfer ke Pub/Sub.
   • CLIENT_ID: ID aplikasi (klien) Aplikasi terdaftar di Azure yang berisi identitas gabungan Google Cloud Akun Layanan. Nilai ini harus berupa UUID. Untuk informasi selengkapnya, lihat halaman Pendaftaran Aplikasi Azure.
   • TENANT_ID: ID direktori (tenant) tenant yang memiliki Azure Event Hubs yang Anda transfer ke Pub/Sub. Nilai ini harus berupa UUID. Untuk menemukan ID tenant, lihat buka halaman Azure Get subscription and tenant IDs.
   • SUBSCRIPTION_ID: ID langganan dari langganan yang memiliki event hub Azure yang Anda transfer ke Pub/Sub. Nilai ini harus berupa UUID. Untuk menemukan ID langganan, lihat Azure Mendapatkan ID langganan dan tenant.
   • SERVICE_ACCOUNT: akun layanan yang Anda buat di Membuat akun layanan di Google Cloud

Kuota dan batas

Throughput penayang untuk topik impor dibatasi oleh kuota publikasi topik. Untuk mengetahui informasi selengkapnya, lihat Kuota dan batas Pub/Sub.

Langkah berikutnya

• Memantau topik impor.

• Pilih jenis langganan untuk topik Anda.

• Pelajari cara memublikasikan pesan ke topik.

• Buat atau ubah topik dengan gcloud CLI, REST API, atau Library klien.

• Memecahkan masalah topik impor Azure Event Hubs.