Membuat topik impor Amazon Managed Streaming for Apache Kafka

Topik impor Amazon Managed Streaming for Apache Kafka (Amazon MSK) memungkinkan Anda terus menyerap data dari Amazon MSK sebagai sumber eksternal dan ke Pub/Sub. Kemudian, Anda dapat melakukan streaming data ke salah satu tujuan yang didukung Pub/Sub.

Catatan: Hanya cluster yang disediakan Amazon MSK yang dapat diimpor ke Pub/Sub.

Dokumen ini menunjukkan cara membuat dan mengelola topik impor Amazon MSK. Untuk membuat topik standar, lihat Membuat topik standar.

Untuk mengetahui informasi selengkapnya tentang topik impor, lihat Tentang topik impor.

Sebelum memulai

• Ketahui lebih lanjut proses publikasi Pub/Sub.

• Konfigurasikan peran dan izin yang diperlukan untuk mengelola topik impor Amazon MSK, termasuk hal berikut:

  • Tambahkan peran penayang Pub/Sub ke akun layanan Pub/Sub

  • Menambahkan peran pengguna akun layanan ke akun layanan

• Siapkan workload identity federation sehingga Google Cloud dapat mengakses layanan streaming eksternal.

Peran dan izin yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat dan mengelola topik impor Amazon MSK, minta administrator untuk memberi Anda peran IAM Pub/Sub Editor (roles/pubsub.editor) pada topik atau project Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat dan mengelola topik impor Amazon MSK. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat dan mengelola topik impor Amazon MSK:

• Buat topik impor: pubsub.topics.create
• Menghapus topik impor: pubsub.topics.delete
• Mendapatkan topik impor: pubsub.topics.get
• Cantumkan topik impor: pubsub.topics.list
• Memublikasikan ke topik impor: pubsub.topics.publish
• Memperbarui topik impor: pubsub.topics.update
• Dapatkan kebijakan IAM untuk topik impor: pubsub.topics.getIamPolicy
• Konfigurasikan kebijakan IAM untuk topik impor: pubsub.topics.setIamPolicy

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Anda dapat mengonfigurasi kontrol akses di tingkat project dan tingkat resource individual.

Menyiapkan identitas gabungan untuk mengakses Amazon MSK

Workload Identity Federation memungkinkan Google Cloud layanan mengakses workload yang berjalan di luar Google Cloud. Dengan federasi identitas, Anda tidak perlu mempertahankan atau meneruskan kredensial ke Google Cloud untuk mengakses resource di cloud lain. Sebagai gantinya, Anda dapat menggunakan identitas workload itu sendiri untuk melakukan autentikasi ke Google Cloud dan mengakses resource.

Membuat akun layanan di Google Cloud

Ini langkah opsional. Jika sudah memiliki akun layanan, Anda dapat menggunakannya dalam prosedur ini, bukan membuat akun layanan baru. Jika Anda menggunakan akun layanan yang ada, buka Mencatat ID unik akun layanan untuk langkah berikutnya.

Untuk topik impor Amazon MSK, Pub/Sub menggunakan akun layanan sebagai identitas untuk mengakses resource dari AWS.

Untuk mengetahui informasi selengkapnya tentang cara membuat akun layanan, termasuk prasyarat, peran dan izin yang diperlukan, serta panduan penamaan, lihat Membuat akun layanan. Setelah membuat akun layanan, Anda mungkin perlu menunggu selama 60 detik atau lebih sebelum menggunakan akun layanan. Perilaku ini terjadi karena operasi baca pada akhirnya konsisten; perlu waktu hingga akun layanan baru terlihat.

Catat ID unik akun layanan

Anda memerlukan ID unik akun layanan untuk menyiapkan peran di konsol AWS.

1. Di konsol Google Cloud, buka halaman detail Service account.

   Buka akun layanan

2. Klik akun layanan yang baru saja Anda buat atau yang ingin Anda gunakan.

3. Dari halaman Detail akun layanan, catat nomor ID Unik.

   Anda memerlukan ID ini sebagai bagian dari alur kerja untuk menyiapkan peran di konsol AWS.

Menambahkan peran pembuat token akun layanan ke akun layanan Pub/Sub

Catatan: Pub/Sub membuat dan mengelola akun layanan untuk setiap project. Akun layanan memiliki format berikut: service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com. Lakukan prosedur ini hanya jika akun layanan Pub/Sub tidak memiliki peran Agen Layanan Pub/Sub (roles/pubsub.serviceAgent).

Peran pembuat token akun layanan (roles/iam.serviceAccountTokenCreator) memungkinkan akun utama membuat kredensial jangka pendek untuk akun layanan. Token atau kredensial ini digunakan untuk meniru identitas akun layanan.

Untuk informasi selengkapnya tentang peniruan akun layanan, lihat Peniruan akun layanan.

Anda juga dapat menambahkan peran penayang Pub/Sub (roles/pubsub.publisher) selama prosedur ini. Untuk mengetahui informasi selengkapnya tentang peran dan alasan Anda menambahkannya, lihat Menambahkan peran penayang Pub/Sub ke akun layanan Pub/Sub.

1. Di konsol Google Cloud, buka halaman IAM.

   Buka IAM

2. Klik kotak centang Sertakan pemberian peran yang disediakan Google.

3. Cari akun layanan yang memiliki format service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com.

4. Untuk akun layanan ini, klik tombol Edit Principal.

5. Jika diperlukan, klik Tambahkan peran lain.

6. Telusuri dan klik Peran pembuat token akun layanan (roles/iam.serviceAccountTokenCreator).

7. Klik Simpan.

Membuat kebijakan di AWS

Anda memerlukan kebijakan di AWS untuk mengizinkan Pub/Sub mengautentikasi ke AWS sehingga Pub/Sub dapat menyerap data dari Amazon MSK.

• Untuk mengetahui metode dan informasi selengkapnya tentang cara membuat kebijakan di AWS, lihat Membuat kebijakan IAM.

Untuk membuat kebijakan di AWS, lakukan langkah-langkah berikut:

1. Login ke AWS Management Console, lalu buka konsol IAM.

2. Di panel navigasi konsol untuk IAM, klik Access Management > Policies.

3. Klik Create policy.

4. Untuk Klik layanan, klik MSK.

5. Untuk Action allowed, klik Read > GetBootstrapBrokers.

   Tindakan ini memberikan izin untuk mendapatkan broker bootstrap yang digunakan Pub/Sub untuk terhubung ke cluster MSK.

6. Klik Tambahkan izin lainnya.

7. Untuk Pilih layanan, klik Apache Kafka API for MSK.

8. Untuk Action allowed, pilih hal berikut:

   • List > DescribeTopic

     Tindakan ini memberikan izin untuk mengizinkan topik penyerapan Pub/Sub mendapatkan detail tentang topik Amazon MSK Kafka.

   • Read > ReadData

     Tindakan ini memberikan izin untuk membaca data dari topik Kafka Amazon MSK.

   • Tulis > Hubungkan

     Tindakan ini memberikan izin untuk terhubung dan mengautentikasi ke cluster Amazon MSK Kafka.

9. Untuk Resource, tentukan cluster ARN (jika Anda ingin membatasi kebijakan ke cluster tertentu, yang direkomendasikan).

10. Klik Tambahkan izin lainnya.

11. Untuk Select a service, klik STS.

12. Untuk Action allowed, klik Write > AssumeRoleWithWebIdentity.

    Tindakan ini memberikan izin untuk mendapatkan kumpulan kredensial keamanan sementara untuk Pub/Sub agar dapat melakukan autentikasi ke Amazon MSK menggunakan federasi identitas.

13. Klik Berikutnya.

14. Masukkan nama dan deskripsi kebijakan.

15. Klik Create policy.

Membuat peran di AWS menggunakan kebijakan kepercayaan kustom

Anda harus membuat peran di AWS agar Pub/Sub dapat mengautentikasi ke AWS untuk menyerap data dari Amazon MSK.

1. Login ke AWS Management Console, lalu buka konsol IAM.

2. Di panel navigasi konsol untuk IAM, klik Roles.

3. Klik Buat peran.

4. Untuk Pilih entitas tepercaya, klik Kebijakan kepercayaan kustom.

5. Di bagian Custom trust policy, masukkan atau tempelkan kode berikut:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
        "Effect": "Allow",
        "Principal": {
           "Federated": "accounts.google.com"
        },
        "Action": "sts:AssumeRoleWithWebIdentity",
        "Condition": {
            "StringEquals": {
              "accounts.google.com:sub": "<SERVICE_ACCOUNT_UNIQUE_ID>"
            }
         }
       }
     ]
   }
   

   Ganti <SERVICE_ACCOUNT_UNIQUE_ID> dengan ID unik akun layanan yang Anda catat di Mencatat ID unik akun layanan.

6. Klik Berikutnya.

7. Untuk Tambahkan izin, telusuri dan klik kebijakan kustom yang baru saja Anda buat.

8. Klik Berikutnya.

9. Masukkan nama dan deskripsi peran.

10. Klik Buat peran.

Menambahkan peran penayang Pub/Sub ke akun utama Pub/Sub

Untuk mengaktifkan publikasi, Anda harus menetapkan peran penayang ke akun layanan Pub/Sub agar Pub/Sub dapat memublikasikan ke topik impor Amazon MSK.

Mengaktifkan publikasi dari semua topik

Gunakan metode ini jika Anda belum membuat topik impor Amazon MSK.

1. Di konsol Google Cloud, buka halaman IAM.

   Buka IAM

2. Klik kotak centang Sertakan pemberian peran yang disediakan Google.

3. Cari akun layanan yang memiliki format service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com.

4. Untuk akun layanan ini, klik tombol Edit Principal.

5. Jika diperlukan, klik Tambahkan peran lain.

6. Telusuri dan klik Peran penayang Pub/Sub (roles/pubsub.publisher).

7. Klik Simpan.

Mengaktifkan publikasi dari satu topik

Gunakan metode ini hanya jika topik impor Amazon MSK sudah ada.

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Jalankan perintah gcloud pubsub topics add-iam-policy-binding:

   gcloud pubsub topics add-iam-policy-binding TOPIC_ID \
      --member="serviceAccount:[e-mail]" \
      --role="roles/pubsub.publisher"

   Ganti kode berikut:

   • TOPIC_ID: ID topik topik impor Amazon MSK.

   • PROJECT_NUMBER: nomor project. Untuk melihat nomor project, lihat Mengidentifikasi project.

Menambahkan peran pengguna akun layanan ke akun layanan

Peran Pengguna Akun Layanan (roles/iam.serviceAccountUser) mencakup izin iam.serviceAccounts.actAs yang memungkinkan akun utama melampirkan akun layanan ke setelan penyerapan topik impor Amazon MSK dan menggunakan akun layanan tersebut untuk identitas gabungan.

1. Di konsol Google Cloud, buka halaman IAM.

   Buka IAM

2. Untuk akun utama yang mengeluarkan panggilan pembuatan atau pembaruan topik, klik tombol Edit Principal.

3. Jika diperlukan, klik Tambahkan peran lain.

4. Telusuri dan klik Peran pengguna akun layanan (roles/iam.serviceAccountUser).

5. Klik Simpan.

Menggunakan topik impor Amazon MSK

Anda dapat membuat topik impor baru atau mengedit topik yang ada.

Pertimbangan

Perhatian: Jika Anda sudah memiliki data di Amazon MSK, buat topik standar dan langganan default terlebih dahulu tanpa mengaktifkan setelan penyerapan. Kemudian, konversikan topik menjadi topik impor. Metode ini memastikan bahwa semua pesan diterima oleh langganan.

• Membuat topik dan langganan secara terpisah, meskipun dilakukan secara cepat, dapat menyebabkan hilangnya data. Ada periode singkat saat topik tersedia tanpa langganan. Jika ada data yang dikirim ke topik selama waktu ini, data tersebut akan hilang. Dengan membuat topik terlebih dahulu, membuat langganan, lalu mengonversi topik menjadi topik impor, Anda menjamin bahwa tidak ada pesan yang terlewat selama proses impor.

• Jika perlu membuat ulang topik Kafka dari topik impor yang ada dengan nama yang sama, Anda tidak dapat hanya menghapus topik Kafka dan membuatnya ulang. Tindakan ini dapat membatalkan validasi pengelolaan offset Pub/Sub, yang dapat menyebabkan hilangnya data. Untuk mengurangi hal ini, ikuti langkah-langkah berikut:

  • Hapus topik impor Pub/Sub.
  • Hapus topik Kafka.
  • Buat topik Kafka.
  • Buat topik impor Pub/Sub.

• Data dari topik Kafka Amazon MSK selalu dibaca dari offset paling awal.

Membuat topik impor Amazon MSK

Untuk mengetahui lebih lanjut properti yang terkait dengan topik, lihat Properti topik.

Pastikan Anda telah menyelesaikan prosedur berikut:

• Menyiapkan identitas gabungan untuk mengakses Amazon MSK

• Tambahkan peran penayang Pub/Sub ke akun layanan Pub/Sub

• Menambahkan peran pengguna akun layanan ke akun layanan

Untuk membuat topik impor Amazon MSK, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud, buka halaman Topics.

   Buka Topik

2. Klik Create topic.

3. Di kolom Topic ID, masukkan ID untuk topik impor Amazon MSK Anda. Untuk informasi selengkapnya tentang topik penamaan, lihat panduan penamaan.

4. Pilih Tambahkan langganan default.

5. Pilih Aktifkan penyerapan.

6. Untuk sumber transfer, pilih Amazon MSK.

7. Masukkan detail berikut:

   • Cluster ARN: ARN Amazon MSK yang Anda transfer ke Pub/Sub. Format ARN adalah sebagai berikut: arn:aws:kafka:${Region}:${Account}:cluster/${ClusterName}/${ClusterId}.

   • Topic: Nama topik Kafka Amazon MSK yang Anda serap ke Pub/Sub.

   • AWS Role ARN: ARN peran AWS. Format ARN peran adalah sebagai berikut: arn:aws:iam:${Account}:role/${RoleName}.

   • Akun layanan: Akun layanan yang Anda buat di Membuat akun layanan di Google Cloud.

8. Klik Create topic.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Jalankan perintah gcloud pubsub topics create:

   gcloud pubsub topics create TOPIC_ID \
        --aws-msk-ingestion-cluster-arn MSK_CLUSTER_ARN \
        --aws-msk-ingestion-topic MSK_TOPIC \
        --aws-msk-ingestion-aws-role-arn MSK_ROLE_ARN \
        --aws-msk-ingestion-service-account PUBSUB_SERVICE_ACCOUNT

   Ganti kode berikut:

   • TOPIC_ID: nama atau ID topik Pub/Sub Anda.
   • MSK_CLUSTER_ARN: ARN untuk cluster Amazon MSK yang Anda transfer ke Pub/Sub. Format ARN adalah sebagai berikut: arn:aws:kafka:${Region}:${Account}:cluster/${ClusterName}/${ClusterId}.
   • MSK_TOPIC: nama topik Kafka Amazon MSK yang Anda transfer ke Pub/Sub.
   • MSK_ROLE_ARN: ARN peran AWS. Format ARN peran adalah sebagai berikut: arn:aws:iam:${Account}:role/${RoleName}.
   • PUBSUB_SERVICE_ACCOUNT: akun layanan yang Anda buat di Membuat akun layanan di Google Cloud.

Go

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di panduan memulai Pub/Sub menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Go Pub/Sub.

Untuk melakukan autentikasi ke Pub/Sub, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/pubsub"
)

func createTopicWithAWSMSKIngestion(w io.Writer, projectID, topicID, clusterARN, mskTopic, awsRoleARN, gcpSA string) error {
	// projectID := "my-project-id"
	// topicID := "my-topic"

	// // AWS MSK ingestion settings.
	// clusterARN := "cluster-arn"
	// mskTopic := "msk-topic"
	// awsRoleARN := "aws-role-arn"
	// gcpSA := "gcp-service-account"

	ctx := context.Background()
	client, err := pubsub.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("pubsub.NewClient: %w", err)
	}
	defer client.Close()

	cfg := &pubsub.TopicConfig{
		IngestionDataSourceSettings: &pubsub.IngestionDataSourceSettings{
			Source: &pubsub.IngestionDataSourceAmazonMSK{
				ClusterARN:        clusterARN,
				Topic:             mskTopic,
				AWSRoleARN:        awsRoleARN,
				GCPServiceAccount: gcpSA,
			},
		},
	}
	t, err := client.CreateTopicWithConfig(ctx, topicID, cfg)
	if err != nil {
		return fmt.Errorf("CreateTopic: %w", err)
	}
	fmt.Fprintf(w, "Created topic with AWS MSK ingestion settings: %v\n", t)
	return nil
}

Java

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di panduan memulai Pub/Sub menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Java Pub/Sub.

Untuk melakukan autentikasi ke Pub/Sub, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

import com.google.cloud.pubsub.v1.TopicAdminClient;
import com.google.pubsub.v1.IngestionDataSourceSettings;
import com.google.pubsub.v1.Topic;
import com.google.pubsub.v1.TopicName;
import java.io.IOException;

public class CreateTopicWithAwsMskIngestionExample {
  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String topicId = "your-topic-id";
    // AWS MSK ingestion settings.
    String clusterArn = "cluster-arn";
    String mskTopic = "msk-topic";
    String awsRoleArn = "aws-role-arn";
    String gcpServiceAccount = "gcp-service-account";

    createTopicWithAwsMskIngestionExample(
        projectId, topicId, clusterArn, mskTopic, awsRoleArn, gcpServiceAccount);
  }

  public static void createTopicWithAwsMskIngestionExample(
      String projectId,
      String topicId,
      String clusterArn,
      String mskTopic,
      String awsRoleArn,
      String gcpServiceAccount)
      throws IOException {
    try (TopicAdminClient topicAdminClient = TopicAdminClient.create()) {
      TopicName topicName = TopicName.of(projectId, topicId);

      IngestionDataSourceSettings.AwsMsk awsMsk =
          IngestionDataSourceSettings.AwsMsk.newBuilder()
              .setClusterArn(clusterArn)
              .setTopic(mskTopic)
              .setAwsRoleArn(awsRoleArn)
              .setGcpServiceAccount(gcpServiceAccount)
              .build();
      IngestionDataSourceSettings ingestionDataSourceSettings =
          IngestionDataSourceSettings.newBuilder().setAwsMsk(awsMsk).build();

      Topic topic =
          topicAdminClient.createTopic(
              Topic.newBuilder()
                  .setName(topicName.toString())
                  .setIngestionDataSourceSettings(ingestionDataSourceSettings)
                  .build());

      System.out.println("Created topic with AWS MSK ingestion settings: " + topic.getAllFields());
    }
  }
}

Node.js

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Node.js di panduan memulai Pub/Sub menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Node.js Pub/Sub.

Untuk melakukan autentikasi ke Pub/Sub, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const clusterArn = 'arn:aws:kafka:...';
// const mskTopic = 'YOUR_MSK_TOPIC';
// const roleArn = 'arn:aws:iam:...';
// const gcpServiceAccount = 'ingestion-account@...';

// Imports the Google Cloud client library
const {PubSub} = require('@google-cloud/pubsub');

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithAwsMskIngestion(
  topicNameOrId,
  clusterArn,
  mskTopic,
  awsRoleArn,
  gcpServiceAccount
) {
  // Creates a new topic with AWS MSK ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      awsMsk: {
        clusterArn,
        topic: mskTopic,
        awsRoleArn,
        gcpServiceAccount,
      },
    },
  });
  console.log(`Topic ${topicNameOrId} created with AWS MSK ingestion.`);
}

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di panduan memulai Pub/Sub menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Python Pub/Sub.

Untuk melakukan autentikasi ke Pub/Sub, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

from google.cloud import pubsub_v1
from google.pubsub_v1.types import Topic
from google.pubsub_v1.types import IngestionDataSourceSettings

# TODO(developer)
# project_id = "your-project-id"
# topic_id = "your-topic-id"
# cluster_arn = "your-cluster-arn"
# msk_topic = "your-msk-topic"
# aws_role_arn = "your-aws-role-arn"
# gcp_service_account = "your-gcp-service-account"

publisher = pubsub_v1.PublisherClient()
topic_path = publisher.topic_path(project_id, topic_id)

request = Topic(
    name=topic_path,
    ingestion_data_source_settings=IngestionDataSourceSettings(
        aws_msk=IngestionDataSourceSettings.AwsMsk(
            cluster_arn=cluster_arn,
            topic=msk_topic,
            aws_role_arn=aws_role_arn,
            gcp_service_account=gcp_service_account,
        )
    ),
)

topic = publisher.create_topic(request=request)

print(f"Created topic: {topic.name} with AWS MSK Ingestion Settings")

C++

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C++ di panduan memulai Pub/Sub menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API C++ Pub/Sub.

Untuk melakukan autentikasi ke Pub/Sub, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

namespace pubsub = ::google::cloud::pubsub;
namespace pubsub_admin = ::google::cloud::pubsub_admin;
[](pubsub_admin::TopicAdminClient client, std::string project_id,
   std::string topic_id, std::string const& cluster_arn,
   std::string const& msk_topic, std::string const& aws_role_arn,
   std::string const& gcp_service_account) {
  google::pubsub::v1::Topic request;
  request.set_name(
      pubsub::Topic(std::move(project_id), std::move(topic_id)).FullName());
  auto* aws_msk =
      request.mutable_ingestion_data_source_settings()->mutable_aws_msk();
  aws_msk->set_cluster_arn(cluster_arn);
  aws_msk->set_topic(msk_topic);
  aws_msk->set_aws_role_arn(aws_role_arn);
  aws_msk->set_gcp_service_account(gcp_service_account);

  auto topic = client.CreateTopic(request);
  // Note that kAlreadyExists is a possible error when the library retries.
  if (topic.status().code() == google::cloud::StatusCode::kAlreadyExists) {
    std::cout << "The topic already exists\n";
    return;
  }
  if (!topic) throw std::move(topic).status();

  std::cout << "The topic was successfully created: " << topic->DebugString()
            << "\n";
}

Node.js (TypeScript)

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Node.js di panduan memulai Pub/Sub menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Node.js Pub/Sub.

Untuk melakukan autentikasi ke Pub/Sub, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const clusterArn = 'arn:aws:kafka:...';
// const mskTopic = 'YOUR_MSK_TOPIC';
// const roleArn = 'arn:aws:iam:...';
// const gcpServiceAccount = 'ingestion-account@...';

// Imports the Google Cloud client library
import {PubSub} from '@google-cloud/pubsub';

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithAwsMskIngestion(
  topicNameOrId: string,
  clusterArn: string,
  mskTopic: string,
  awsRoleArn: string,
  gcpServiceAccount: string
) {
  // Creates a new topic with AWS MSK ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      awsMsk: {
        clusterArn,
        topic: mskTopic,
        awsRoleArn,
        gcpServiceAccount,
      },
    },
  });
  console.log(`Topic ${topicNameOrId} created with AWS MSK ingestion.`);
}

Untuk mengetahui informasi selengkapnya tentang ARN, lihat Amazon Resource Name (ARN) dan ID IAM.

Jika Anda mengalami masalah, lihat Memecahkan masalah topik impor Amazon MSK.

Mengedit topik impor Amazon MSK

Untuk mengedit setelan sumber data penyerapan topik impor Amazon MSK, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud, buka halaman Topics.

   Buka Topik

2. Klik topik impor Amazon MSK.

3. Di halaman detail topik, klik Edit.

4. Perbarui kolom yang ingin diubah.

5. Klik Perbarui.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Jalankan perintah gcloud pubsub topics update dengan semua flag yang disebutkan dalam contoh berikut:

   gcloud pubsub topics update TOPIC_ID \
       --aws-msk-ingestion-cluster-arn MSK_CLUSTER_ARN \
       --aws-msk-ingestion-topic MSK_TOPIC \
       --aws-msk-ingestion-aws-role-arn MSK_ROLE_ARN \
       --aws-msk-ingestion-service-account PUBSUB_SERVICE_ACCOUNT

   Ganti kode berikut:

   • TOPIC_ID: nama atau ID topik Pub/Sub Anda.
   • MSK_CLUSTER_ARN: ARN untuk cluster Amazon MSK yang Anda transfer ke Pub/Sub. Format ARN adalah sebagai berikut: arn:aws:kafka:${Region}:${Account}:cluster/${ClusterName}/${ClusterId}.
   • MSK_TOPIC: nama topik Amazon MSK Kafka yang Anda serap ke Pub/Sub.
   • MSK_ROLE_ARN: ARN peran AWS. Format ARN peran adalah sebagai berikut: arn:aws:iam:${Account}:role/${RoleName}.
   • PUBSUB_SERVICE_ACCOUNT: akun layanan yang Anda buat di Membuat akun layanan di Google Cloud.

Kuota dan batas

Throughput penayang untuk topik impor dibatasi oleh kuota publikasi topik. Untuk mengetahui informasi selengkapnya, lihat Kuota dan batas Pub/Sub.

Langkah berikutnya

• Memantau topik impor.

• Pilih jenis langganan untuk topik Anda.

• Pelajari cara memublikasikan pesan ke topik.

• Buat atau ubah topik dengan gcloud CLI, REST API, atau Library klien.

• Memecahkan masalah topik impor Amazon MSK

Apache Kafka® adalah merek dagang terdaftar dari Apache Software Foundation atau afiliasinya di Amerika Serikat dan/atau negara lainnya.