Azure Event Hubs 가져오기 주제 만들기

Azure Event Hubs 가져오기 주제를 사용하면 Azure Event Hubs의 데이터를 외부 소스로 Pub/Sub에 지속적으로 수집할 수 있습니다. 그런 다음 Pub/Sub에서 지원하는 대상으로 데이터를 스트리밍할 수 있습니다.

참고: 표준 및 프리미엄 등급의 Azure Event Hubs만 Pub/Sub으로 가져올 수 있습니다.

이 문서에서는 Azure Event Hubs 가져오기 주제를 만들고 관리하는 방법을 설명합니다. 표준 주제를 만들려면 표준 주제 만들기를 참고하세요.

가져오기 주제에 대한 자세한 내용은 가져오기 주제 정보를 참고하세요.

시작하기 전에

• Pub/Sub 게시 프로세스에 대해 자세히 알아봅니다.

• 다음을 포함하여 Azure Event Hubs 가져오기 주제를 관리하는 데 필요한 역할 및 권한을 구성합니다.

  • Pub/Sub 서비스 계정에 Pub/Sub 게시자 역할 추가

  • 서비스 계정에 서비스 계정 사용자 역할 추가

• Google Cloud 가 외부 스트리밍 서비스에 액세스할 수 있도록 워크로드 아이덴티티 제휴를 설정합니다.

필수 역할 및 권한

Azure Event Hubs 가져오기 주제를 만들고 관리하는 데 필요한 권한을 얻으려면 관리자에게 주제 또는 프로젝트에 대한 Pub/Sub 편집자 (roles/pubsub.editor) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이 사전 정의된 역할에는 Azure Event Hubs 가져오기 주제를 만들고 관리하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

Azure Event Hubs 가져오기 주제를 만들고 관리하려면 다음 권한이 필요합니다.

• 가져오기 주제 만들기: pubsub.topics.create
• 가져오기 주제 삭제: pubsub.topics.delete
• 가져오기 주제 가져오기: pubsub.topics.get
• 가져오기 주제 나열: pubsub.topics.list
• 가져오기 주제에 게시: pubsub.topics.publish
• 가져오기 주제 업데이트: pubsub.topics.update
• 가져오기 주제의 IAM 정책 가져오기: pubsub.topics.getIamPolicy
• 가져오기 주제의 IAM 정책 구성: pubsub.topics.setIamPolicy

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

프로젝트 수준 및 개별 리소스 수준에서 액세스 제어를 구성할 수 있습니다.

제휴 ID를 설정하여 Azure Event Hubs에 액세스

워크로드 아이덴티티 제휴를 사용하면 Google Cloud 서비스가 Google Cloud외부에서 실행되는 워크로드에 액세스할 수 있습니다. ID 제휴를 사용하면 다른 클라우드의 리소스에 액세스하기 위해 사용자 인증 정보를 유지하거나 Google Cloud 에 전달할 필요가 없습니다. 대신 워크로드 자체의 ID를 사용하여 Google Cloud 에 인증하고 리소스에 액세스할 수 있습니다.

Google Cloud에서 서비스 계정 만들기

이 단계는 선택사항입니다. 이미 서비스 계정이 있는 경우 새 서비스 계정을 만드는 대신 이 절차에서 해당 계정을 사용할 수 있습니다. 기존 서비스 계정을 사용하는 경우 다음 단계를 위해 서비스 계정 고유 ID 기록으로 이동합니다.

Azure Event Hubs 가져오기 주제의 경우 Pub/Sub는 서비스 계정을 ID로 사용하여 Azure의 리소스에 액세스합니다.

기본 요건, 필수 역할 및 권한, 이름 지정 가이드라인을 포함하여 서비스 계정 만들기에 대한 자세한 내용은 서비스 계정 만들기를 참조하세요. 서비스 계정을 만든 후 60초 이상 기다려야 서비스 계정을 사용할 수 있습니다. 이는 읽기 작업이 eventual consistency를 가지기 때문에 발생합니다. 새 서비스 계정이 표시되는 데 다소 시간이 걸릴 수 있습니다.

서비스 계정 고유 ID 기록

Azure에서 앱 등록을 설정하려면 서비스 계정 고유 ID가 필요합니다.

1. Google Cloud 콘솔에서 서비스 계정 세부정보 페이지로 이동합니다.

   서비스 계정으로 이동

2. 방금 만든 서비스 계정 또는 사용하려는 서비스 계정을 클릭합니다.

3. 서비스 계정 세부정보 페이지에서 고유 ID 번호를 기록합니다.

   Azure에서 앱 등록을 설정하는 워크플로의 일부로 ID가 필요합니다.

Pub/Sub 서비스 계정에 서비스 계정 토큰 생성자 역할 추가

참고: Pub/Sub는 각 프로젝트의 서비스 계정을 만들고 유지합니다. 서비스 계정에는 service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com 형식이 있습니다. Pub/Sub 서비스 계정에 Pub/Sub 서비스 에이전트 역할 (roles/pubsub.serviceAgent)이 없는 경우에만 이 절차를 수행합니다.

서비스 계정 토큰 생성자 역할(roles/iam.serviceAccountTokenCreator)을 받은 주 구성원은 서비스 계정의 단기 사용자 인증 정보 만들기를 할 수 있습니다. 이러한 토큰 또는 사용자 인증 정보는 서비스 계정을 가장하는 데 사용됩니다.

서비스 계정 가장에 대한 자세한 내용은 서비스 계정 가장을 참조하세요.

또한 이 절차 중에 Pub/Sub 게시자 역할(roles/pubsub.publisher)을 추가할 수 있습니다. 역할 및 역할을 추가하는 이유에 대한 자세한 내용은 Pub/Sub 서비스 계정에 Pub/Sub 게시자 역할 추가를 참조하세요.

1. Google Cloud 콘솔에서 IAM 페이지로 이동합니다.

   IAM으로 이동

2. Google 제공 역할 부여 포함 Google 체크박스를 클릭합니다.

3. service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com 형식의 서비스 계정을 찾습니다.

4. 이 서비스 계정에서 주 구성원 수정 버튼을 클릭합니다.

5. 필요한 경우 다른 역할 추가를 클릭합니다.

6. 서비스 계정 토큰 생성자 역할 (roles/iam.serviceAccountTokenCreator)을 검색하여 클릭합니다.

7. 저장을 클릭합니다.

ID 제휴로 앱 등록 만들기

Azure Event Hubs에서 데이터를 처리하려면 Microsoft ID 플랫폼에 애플리케이션을 등록하고 서비스 계정에 ID 제휴를 사용 설정하세요. 이렇게 하면 서비스 계정이 Azure에 인증할 수 있습니다.

Microsoft ID 플랫폼에 애플리케이션을 등록하는 방법에 관한 자세한 내용은 Azure 앱 등록 빠른 시작을 참고하세요.

1. Azure 포털에 로그인하고 Microsoft Entra ID 페이지를 엽니다.

2. 탐색창에서 관리 > 앱 등록을 클릭합니다.

3. '새 등록'을 클릭합니다.

4. 애플리케이션의 이름을 지정하고 지원되는 계정 유형을 개인 Microsoft 계정만 해당이 아닌 다른 것으로 설정합니다.

5. 애플리케이션을 등록하려면 등록을 클릭합니다.

6. 애플리케이션을 열고 관리 > 인증서 및 보안 비밀을 클릭합니다.

7. 사용자 인증 정보 추가를 클릭합니다.

8. 제휴 사용자 인증 정보를 구성하려면 기타 발급기관을 클릭합니다.

9. Issuer(발급기관) 필드에 https://accounts.google.com을 입력합니다.

10. 값 필드에 Pub/Sub 서비스 계정의 고유 ID를 입력합니다.

    이 ID는 서비스 계정 고유 ID 기록에서 확인할 수 있습니다.

11. 제휴 ID의 이름을 지정한 다음 추가를 클릭합니다.

등록된 앱에 역할 할당 부여

Pub/Sub에서 Azure 이벤트 허브를 읽을 수 있도록 하려면 등록된 앱에 필요한 역할을 부여합니다.

1. Azure 포털에 로그인하고 Event Hubs 네임스페이스를 엽니다.

   네임스페이스를 열려면 검색에 Event Hubs를 입력한 다음 네임스페이스 중 하나를 클릭합니다.

2. 사이드바에서 액세스 제어 (IAM)를 클릭합니다.

3. 추가 > 역할 할당 추가를 클릭합니다.

4. Azure Event Hubs Data Receiver 역할을 선택한 다음 다음을 클릭합니다.

   이렇게 하면 Pub/Sub 서비스 계정에 Azure 이벤트 허브에 대한 읽기 액세스 권한이 부여됩니다.

5. + 구성원 선택을 클릭한 다음 등록된 앱을 검색합니다.

6. 검색창에 등록된 앱 이름을 입력합니다.

7. 앱 이름을 클릭한 다음 선택을 클릭합니다.

8. 검토 + 할당을 클릭합니다.

9. 3~6단계를 반복하고 Azure Event Hubs 데이터 전송자 역할을 추가합니다.

   이 역할은 Google Cloud 서비스 계정에 Azure 이벤트 허브에서 메타데이터를 가져올 권한을 부여합니다.

Azure 역할 할당에 관한 자세한 내용은 Azure 역할 할당 페이지를 참고하세요.

Pub/Sub 사용자 인증 정보에 Pub/Sub 게시자 역할 추가

게시를 사용 설정하려면 Pub/Sub이 Azure Event Hubs 가져오기 주제에 게시할 수 있도록 Pub/Sub 서비스 계정에 게시자 역할을 할당해야 합니다.

모든 주제에서 게시 사용 설정

Azure Event Hubs 가져오기 주제를 만들지 않은 경우 이 방법을 사용하세요.

1. Google Cloud 콘솔에서 IAM 페이지로 이동합니다.

   IAM으로 이동

2. Google 제공 역할 부여 포함 Google 체크박스를 클릭합니다.

3. service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com 형식의 서비스 계정을 찾습니다.

4. 이 서비스 계정에서 주 구성원 수정 버튼을 클릭합니다.

5. 필요한 경우 다른 역할 추가를 클릭합니다.

6. Pub/Sub 게시자 역할 (roles/pubsub.publisher)을 검색하여 클릭합니다.

7. 저장을 클릭합니다.

단일 주제에서 게시 사용 설정

Azure Event Hubs 가져오기 주제가 이미 있는 경우에만 이 메서드를 사용하세요.

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. gcloud pubsub topics add-iam-policy-binding 명령어를 실행합니다.

   gcloud pubsub topics add-iam-policy-binding TOPIC_ID \
      --member="serviceAccount:[e-mail]" \
      --role="roles/pubsub.publisher"

   다음을 바꿉니다.

   • TOPIC_ID: Azure Event Hubs 가져오기 주제의 주제 ID입니다.

   • PROJECT_NUMBER: 프로젝트 번호입니다. 프로젝트 번호를 보려면 프로젝트 식별을 참조하세요.

서비스 계정에 서비스 계정 사용자 역할 추가

서비스 계정 사용자 역할 (roles/iam.serviceAccountUser)에는 주 구성원이 서비스 계정을 Azure Event Hubs 가져오기 주제의 처리 설정에 연결하고 제휴 ID에 해당 서비스를 사용할 수 있게 해주는 iam.serviceAccounts.actAs 권한이 포함되어 있습니다.

1. Google Cloud 콘솔에서 IAM 페이지로 이동합니다.

   IAM으로 이동

2. 주제 만들기 또는 업데이트 호출을 실행하는 주 구성원에 대해 주 구성원 수정 버튼을 클릭합니다.

3. 필요한 경우 다른 역할 추가를 클릭합니다.

4. 서비스 계정 사용자 역할(roles/iam.serviceAccountUser)을 검색하여 클릭합니다.

5. 저장을 클릭합니다.

Azure Event Hubs 가져오기 주제 사용

새 가져오기 주제를 만들거나 기존 주제를 수정할 수 있습니다.

고려사항

주의: Azure Event Hubs에 이미 데이터가 있는 경우 수집 설정을 사용 설정하지 않고 먼저 표준 주제 및 기본 구독을 만듭니다. 그런 다음 주제를 가져오기 주제로 변환합니다. 이 메서드는 모든 메시지가 구독에서 수신되도록 보장합니다.

• 주제와 구독을 개별적으로 만들더라도 빠르게 연속으로 만들면 데이터가 손실될 수 있습니다. 구독 없이도 잠시 동안은 주제가 표시됩니다. 이 기간에 주제에 데이터를 전송하면 데이터가 손실됩니다. 먼저 주제를 만들고 구독을 만든 다음 주제를 가져오기 주제로 변환하면 가져오기 프로세스 중에 메시지가 누락되지 않습니다.

• 기존 가져오기 주제의 Azure Event Hub를 동일한 이름으로 다시 만들어야 하는 경우 Azure Event Hub를 삭제하고 다시 만들 수는 없습니다. 이 작업으로 인해 Pub/Sub의 오프셋 관리가 무효화되어 데이터 손실이 발생할 수 있습니다. 이 문제를 완화하려면 다음 단계를 따르세요.

  • Pub/Sub 가져오기 주제 삭제
  • Azure Event Hub 삭제
  • Azure Event Hub 만들기
  • Pub/Sub 가져오기 주제 만들기

• Azure Event Hub의 데이터는 항상 최초 오프셋에서 읽습니다.

Azure Event Hubs 가져오기 주제 만들기

주제와 연결된 속성에 대해 자세히 알아보려면 주제 속성을 참고하세요.

다음 절차를 완료했는지 확인하세요.

• 제휴 ID를 설정하여 Azure Event Hubs에 액세스

• Pub/Sub 서비스 계정에 Pub/Sub 게시자 역할 추가

• IAM 주 구성원에 서비스 계정 사용자 역할 추가

Azure Event Hubs 가져오기 주제를 만들려면 다음 단계를 따르세요.

콘솔

1. Google Cloud 콘솔에서 IAM 페이지로 이동합니다.

   주제로 이동

2. 주제 만들기를 클릭합니다.

3. 주제 ID 필드에 Azure Event Hubs 가져오기 주제의 ID를 입력합니다. 주제 이름 지정에 대한 자세한 내용은 이름 지정 가이드라인을 참고하세요.

4. 기본 구독 추가를 선택합니다.

5. 수집 사용 설정을 선택합니다.

6. 처리 소스에서 Azure Event Hubs를 선택합니다.

7. 다음 세부정보를 입력합니다.

   • 리소스 그룹: Pub/Sub에 처리할 Azure Event Hubs 네임스페이스가 포함된 Azure 리소스 그룹의 이름입니다.

   • Event Hub 네임스페이스: Pub/Sub에 처리할 Azure Event Hub가 포함된 Azure Event Hubs 네임스페이스의 이름입니다.

   • Event Hub: Pub/Sub에 처리할 Azure Event Hub의 이름입니다.

   • 클라이언트 ID: Google Cloud 서비스 계정의 제휴 ID가 포함된 Azure에 등록된 앱의 애플리케이션 (클라이언트) ID입니다. 이 값은 UUID여야 합니다. 자세한 내용은 Azure 앱 등록 페이지를 참고하세요.

   • 테넌트 ID: Pub/Sub에 처리할 Azure 이벤트 허브를 소유한 테넌트의 디렉터리 (테넌트) ID입니다. 이 값은 UUID여야 합니다. 테넌트 ID를 찾으려면 Azure 구독 및 테넌트 ID 가져오기 페이지를 방문하세요.

   • 구독 ID: Azure Event Hubs 리소스 그룹을 소유한 구독의 구독 ID입니다. 이 값은 UUID여야 합니다. 구독 ID를 찾으려면 Azure 구독 및 테넌트 ID 가져오기 페이지를 방문하세요.

   • 서비스 계정: Google Cloud에서 서비스 계정 만들기에서 만든 서비스 계정입니다.

8. 나머지 필드는 기본값으로 둡니다.

9. 주제 만들기를 클릭합니다.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. gcloud pubsub topics create 명령어를 실행합니다.

   gcloud pubsub topics create TOPIC_ID \
     --azure-event-hubs-ingestion-resource-group RESOURCE_GROUP \
     --azure-event-hubs-ingestion-namespace NAMESPACE \
     --azure-event-hubs-ingestion-event-hub EVENT_HUB \
     --azure-event-hubs-ingestion-client-id CLIENT_ID \
     --azure-event-hubs-ingestion-tenant-id TENANT_ID \
     --azure-event-hubs-ingestion-subscription-id SUBSCRIPTION_ID \
     --azure-event-hubs-ingestion-service-account SERVICE_ACCOUNT

   다음을 바꿉니다.

• TOPIC_ID: Pub/Sub 주제의 이름 또는 ID입니다.
• RESOURCE_GROUP: Pub/Sub에 처리할 Azure Event Hubs 네임스페이스가 포함된 Azure Event Hubs 리소스 그룹의 이름입니다.
• NAMESPACE: Pub/Sub에 처리할 Azure Event Hub가 포함된 Azure Event Hubs 네임스페이스의 이름입니다.
• EVENT_HUB: Pub/Sub에 처리할 Azure Event Hub의 이름입니다.
• CLIENT_ID: Azure에 등록된 앱의 애플리케이션 (클라이언트) ID로,Google Cloud 서비스 계정의 제휴 ID가 포함되어 있습니다. 이 값은 UUID여야 합니다. 자세한 내용은 Azure 앱 등록 페이지를 참고하세요.
• TENANT_ID: Pub/Sub에 처리할 Azure Event Hub를 소유한 테넌트의 디렉터리 (테넌트) ID입니다. 이 값은 UUID여야 합니다. 테넌트 ID를 찾으려면 Azure 이벤트 페이지 Azure 구독 및 테넌트 ID 가져오기 페이지를 방문하세요.
• SUBSCRIPTION_ID: Pub/Sub에 처리하려는 Azure Event Hub를 소유한 구독의 구독 ID입니다. 이 값은 UUID여야 합니다. 구독 ID를 찾으려면 Azure 구독 및 테넌트 ID 가져오기 페이지를 방문하세요.
• SERVICE_ACCOUNT: Google Cloud에서 서비스 계정 만들기 Google Cloud에서 만든 서비스 계정

Go

이 샘플을 사용해 보기 전에 Pub/Sub 빠른 시작: 클라이언트 라이브러리 사용의 Go 설정 안내를 따르세요. 자세한 내용은 Pub/Sub Go API 참고 문서를 확인하세요.

Pub/Sub에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/pubsub"
)

func createTopicWithAzureEventHubsIngestion(w io.Writer, projectID, topicID, resourceGroup, namespace, eventHub, clientID, tenantID, subID, gcpSA string) error {
	// projectID := "my-project-id"
	// topicID := "my-topic"

	// // Azure Event Hubs ingestion settings.
	// resourceGroup := "resource-group"
	// namespace := "namespace"
	// eventHub := "event-hub"
	// clientID := "client-id"
	// tenantID := "tenant-id"
	// subID := "subscription-id"
	// gcpSA := "gcp-service-account"

	ctx := context.Background()
	client, err := pubsub.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("pubsub.NewClient: %w", err)
	}
	defer client.Close()

	cfg := &pubsub.TopicConfig{
		IngestionDataSourceSettings: &pubsub.IngestionDataSourceSettings{
			Source: &pubsub.IngestionDataSourceAzureEventHubs{
				ResourceGroup:     resourceGroup,
				Namespace:         namespace,
				EventHub:          eventHub,
				ClientID:          clientID,
				TenantID:          tenantID,
				SubscriptionID:    subID,
				GCPServiceAccount: gcpSA,
			},
		},
	}
	t, err := client.CreateTopicWithConfig(ctx, topicID, cfg)
	if err != nil {
		return fmt.Errorf("CreateTopic: %w", err)
	}
	fmt.Fprintf(w, "Created topic with azure event hubs ingestion: %v\n", t)
	return nil
}

Java

이 샘플을 사용해 보기 전에 Pub/Sub 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 Pub/Sub Java API 참고 문서를 확인하세요.

Pub/Sub에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

import com.google.cloud.pubsub.v1.TopicAdminClient;
import com.google.pubsub.v1.IngestionDataSourceSettings;
import com.google.pubsub.v1.Topic;
import com.google.pubsub.v1.TopicName;
import java.io.IOException;

public class CreateTopicWithAzureEventHubsIngestionExample {
  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String topicId = "your-topic-id";
    // Azure Event Hubs ingestion settings.
    String resourceGroup = "resource-group";
    String namespace = "namespace";
    String eventHub = "event-hub";
    String clientId = "client-id";
    String tenantId = "tenant-id";
    String subscriptionId = "subscription-id";
    String gcpServiceAccount = "gcp-service-account";

    createTopicWithAzureEventHubsIngestionExample(
        projectId,
        topicId,
        resourceGroup,
        namespace,
        eventHub,
        clientId,
        tenantId,
        subscriptionId,
        gcpServiceAccount);
  }

  public static void createTopicWithAzureEventHubsIngestionExample(
      String projectId,
      String topicId,
      String resourceGroup,
      String namespace,
      String eventHub,
      String clientId,
      String tenantId,
      String subscriptionId,
      String gcpServiceAccount)
      throws IOException {
    try (TopicAdminClient topicAdminClient = TopicAdminClient.create()) {
      TopicName topicName = TopicName.of(projectId, topicId);

      IngestionDataSourceSettings.AzureEventHubs azureEventHubs =
          IngestionDataSourceSettings.AzureEventHubs.newBuilder()
              .setResourceGroup(resourceGroup)
              .setNamespace(namespace)
              .setEventHub(eventHub)
              .setClientId(clientId)
              .setTenantId(tenantId)
              .setSubscriptionId(subscriptionId)
              .setGcpServiceAccount(gcpServiceAccount)
              .build();
      IngestionDataSourceSettings ingestionDataSourceSettings =
          IngestionDataSourceSettings.newBuilder().setAzureEventHubs(azureEventHubs).build();

      Topic topic =
          topicAdminClient.createTopic(
              Topic.newBuilder()
                  .setName(topicName.toString())
                  .setIngestionDataSourceSettings(ingestionDataSourceSettings)
                  .build());

      System.out.println(
          "Created topic with Azure Event Hubs ingestion settings: " + topic.getAllFields());
    }
  }
}

Node.js

이 샘플을 사용해 보기 전에 Pub/Sub 빠른 시작: 클라이언트 라이브러리 사용의 Node.js 설정 안내를 따르세요. 자세한 내용은 Pub/Sub Node.js API 참고 문서를 확인하세요.

Pub/Sub에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const resourceGroup = 'YOUR_RESOURCE_GROUP';
// const namespace = 'YOUR_NAMESPACE';
// const eventHub = 'YOUR_EVENT_HUB';
// const clientId = 'YOUR_CLIENT_ID';
// const tenantId = 'YOUR_TENANT_ID';
// const subscriptionId = 'YOUR_SUBSCRIPTION_ID';
// const gcpServiceAccount = 'ingestion-account@...';

// Imports the Google Cloud client library
const {PubSub} = require('@google-cloud/pubsub');

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithAzureEventHubsIngestion(
  topicNameOrId,
  resourceGroup,
  namespace,
  eventHub,
  clientId,
  tenantId,
  subscriptionId,
  gcpServiceAccount
) {
  // Creates a new topic with Azure Event Hubs ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      azureEventHubs: {
        resourceGroup,
        namespace,
        eventHub,
        clientId,
        tenantId,
        subscriptionId,
        gcpServiceAccount,
      },
    },
  });
  console.log(
    `Topic ${topicNameOrId} created with Azure Event Hubs ingestion.`
  );
}

Python

이 샘플을 사용해 보기 전에 Pub/Sub 빠른 시작: 클라이언트 라이브러리 사용의 Python 설정 안내를 따르세요. 자세한 내용은 Pub/Sub Python API 참고 문서를 확인하세요.

Pub/Sub에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

from google.cloud import pubsub_v1
from google.pubsub_v1.types import Topic
from google.pubsub_v1.types import IngestionDataSourceSettings

# TODO(developer)
# project_id = "your-project-id"
# topic_id = "your-topic-id"
# resource_group = "your-resource-group"
# namespace = "your-namespace"
# event_hub = "your-event-hub"
# client_id = "your-client-id"
# tenant_id = "your-tenant-id"
# subscription_id = "your-subscription-id"
# gcp_service_account = "your-gcp-service-account"

publisher = pubsub_v1.PublisherClient()
topic_path = publisher.topic_path(project_id, topic_id)

request = Topic(
    name=topic_path,
    ingestion_data_source_settings=IngestionDataSourceSettings(
        azure_event_hubs=IngestionDataSourceSettings.AzureEventHubs(
            resource_group=resource_group,
            namespace=namespace,
            event_hub=event_hub,
            client_id=client_id,
            tenant_id=tenant_id,
            subscription_id=subscription_id,
            gcp_service_account=gcp_service_account,
        )
    ),
)

topic = publisher.create_topic(request=request)

print(f"Created topic: {topic.name} with Azure Event Hubs Ingestion Settings")

C++

이 샘플을 사용해 보기 전에 Pub/Sub 빠른 시작: 클라이언트 라이브러리 사용의 C++ 설정 안내를 따르세요. 자세한 내용은 Pub/Sub C++ API 참고 문서를 확인하세요.

Pub/Sub에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

namespace pubsub = ::google::cloud::pubsub;
namespace pubsub_admin = ::google::cloud::pubsub_admin;
[](pubsub_admin::TopicAdminClient client, std::string project_id,
   std::string topic_id, std::string const& resource_group,
   std::string const& event_hubs_namespace, std::string const& event_hub,
   std::string const& client_id, std::string const& tenant_id,
   std::string const& subscription_id,
   std::string const& gcp_service_account) {
  google::pubsub::v1::Topic request;
  request.set_name(
      pubsub::Topic(std::move(project_id), std::move(topic_id)).FullName());
  auto* azure_event_hubs = request.mutable_ingestion_data_source_settings()
                               ->mutable_azure_event_hubs();
  azure_event_hubs->set_resource_group(resource_group);
  azure_event_hubs->set_namespace_(event_hubs_namespace);
  azure_event_hubs->set_event_hub(event_hub);
  azure_event_hubs->set_client_id(client_id);
  azure_event_hubs->set_tenant_id(tenant_id);
  azure_event_hubs->set_subscription_id(subscription_id);
  azure_event_hubs->set_gcp_service_account(gcp_service_account);

  auto topic = client.CreateTopic(request);
  // Note that kAlreadyExists is a possible error when the library retries.
  if (topic.status().code() == google::cloud::StatusCode::kAlreadyExists) {
    std::cout << "The topic already exists\n";
    return;
  }
  if (!topic) throw std::move(topic).status();

  std::cout << "The topic was successfully created: " << topic->DebugString()
            << "\n";
}

Node.js (TypeScript)

이 샘플을 사용해 보기 전에 Pub/Sub 빠른 시작: 클라이언트 라이브러리 사용의 Node.js 설정 안내를 따르세요. 자세한 내용은 Pub/Sub Node.js API 참고 문서를 참조하세요.

Pub/Sub에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const resourceGroup = 'YOUR_RESOURCE_GROUP';
// const namespace = 'YOUR_NAMESPACE';
// const eventHub = 'YOUR_EVENT_HUB';
// const clientId = 'YOUR_CLIENT_ID';
// const tenantId = 'YOUR_TENANT_ID';
// const subscriptionId = 'YOUR_SUBSCRIPTION_ID';
// const gcpServiceAccount = 'ingestion-account@...';

// Imports the Google Cloud client library
import {PubSub} from '@google-cloud/pubsub';

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithAzureEventHubsIngestion(
  topicNameOrId: string,
  resourceGroup: string,
  namespace: string,
  eventHub: string,
  clientId: string,
  tenantId: string,
  subscriptionId: string,
  gcpServiceAccount: string
) {
  // Creates a new topic with Azure Event Hubs ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      azureEventHubs: {
        resourceGroup,
        namespace,
        eventHub,
        clientId,
        tenantId,
        subscriptionId,
        gcpServiceAccount,
      },
    },
  });
  console.log(
    `Topic ${topicNameOrId} created with Azure Event Hubs ingestion.`
  );
}

문제가 발생하면 Azure Event Hubs 가져오기 주제 문제 해결을 참고하세요.

Azure Event Hubs 가져오기 주제 수정

Azure Event Hubs 가져오기 주제의 처리 데이터 소스 설정을 수정하려면 다음 단계를 따르세요.

콘솔

1. Google Cloud 콘솔에서 IAM 페이지로 이동합니다.

   주제로 이동

2. Azure Event Hubs 가져오기 주제를 클릭합니다.

3. 주제 세부정보 페이지에서 수정을 클릭합니다.

4. 변경하려는 필드를 업데이트합니다.

5. 업데이트를 클릭합니다.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. 다음 샘플에 언급된 모든 플래그를 사용하여 gcloud pubsub topics update 명령어를 실행합니다.

   gcloud pubsub topics update TOPIC_ID \
       --azure-event-hubs-ingestion-resource-group RESOURCE_GROUP \
       --azure-event-hubs-ingestion-namespace NAMESPACE \
       --azure-event-hubs-ingestion-event-hub EVENT_HUB \
       --azure-event-hubs-ingestion-client-id CLIENT_ID \
       --azure-event-hubs-ingestion-tenant-id TENANT_ID \
       --azure-event-hubs-ingestion-subscription-id SUBSCRIPTION_ID \
       --azure-event-hubs-ingestion-service-account SERVICE_ACCOUNT

   다음을 바꿉니다.

   • TOPIC_ID: Pub/Sub 주제의 이름 또는 ID입니다.
   • RESOURCE_GROUP: Pub/Sub에 처리하는 Azure Event Hubs 네임스페이스가 포함된 Azure Event Hubs 리소스 그룹의 이름입니다.
   • NAMESPACE: Pub/Sub에 처리하는 Azure Event Hub가 포함된 Azure Event Hubs 네임스페이스의 이름입니다.
   • EVENT_HUB: Pub/Sub에 처리하는 Azure Event Hub의 이름입니다.
   • CLIENT_ID: Azure에 등록된 앱의 애플리케이션 (클라이언트) ID로,Google Cloud 서비스 계정의 제휴 ID가 포함되어 있습니다. 이 값은 UUID여야 합니다. 자세한 내용은 Azure 앱 등록 페이지를 참고하세요.
   • TENANT_ID: Pub/Sub에 처리하는 Azure Event Hubs를 소유한 테넌트의 디렉터리 (테넌트) ID입니다. 이 값은 UUID여야 합니다. 테넌트 ID를 찾으려면 Azure 구독 및 테넌트 ID 가져오기 페이지 방문을 참고하세요.
   • SUBSCRIPTION_ID: Pub/Sub에 처리하는 Azure Event Hub를 소유한 구독의 구독 ID입니다. 이 값은 UUID여야 합니다. 구독 ID를 찾으려면 Azure 구독 및 테넌트 ID 가져오기를 참고하세요.
   • SERVICE_ACCOUNT: Google Cloud에서 서비스 계정 만들기 Google Cloud에서 만든 서비스 계정

할당량 및 한도

가져오기 주제의 게시자 처리량은 주제의 게시 할당량에 따라 제한됩니다. 자세한 내용은 Pub/Sub 할당량 및 한도를 참조하세요.

다음 단계

• 가져오기 주제 모니터링하기

• 주제의 구독 유형 선택하기

• 주제에 메시지를 게시하는 방법 알아보기

• gcloud CLI, REST API, 클라이언트 라이브러리를 사용하여 주제를 만들거나 수정합니다.

• Azure Event Hubs 가져오기 주제 문제 해결