JMS to Pub/Sub 템플릿

JMS to Pub/Sub 템플릿은 Active MQ JMS 서버(큐/주제)에서 메시지를 읽고 Pub/Sub에 쓰는 스트리밍 파이프라인입니다.

파이프라인 요구사항

  • Pub/Sub 출력 주제 이름이 있어야 합니다.
  • JMS 호스트 IP가 있어야 하며 Dataflow 작업자 VM이 JMS 호스트에 연결할 수 있도록 적절한 네트워크 구성이 있어야 합니다.
  • 데이터가 추출되는 JMS 주제/큐에는 이름이 있어야 합니다.

템플릿 매개변수

필수 매개변수

  • inputName: 데이터를 읽는 JMS 주제 또는 큐의 이름입니다. (예: queue).
  • inputType: 데이터를 읽을 JMS 대상 유형입니다. 큐 또는 주제일 수 있습니다. (예: queue).
  • outputTopic: 데이터를 게시할 Pub/Sub 주제의 이름이며 projects/<PROJECT_ID>/topics/<TOPIC_NAME> 형식입니다. (예: projects/your-project-id/topics/your-topic-name)
  • username: JMS 서버에서 인증에 사용할 사용자 이름입니다. (예: sampleusername)
  • password: 제공된 사용자 이름과 연결된 비밀번호입니다. (예: samplepassword)

선택적 매개변수

  • jmsServer: JMS(ActiveMQ) 서버 IP입니다. (예: tcp://10.0.0.1:61616)

템플릿 실행

콘솔

  1. Dataflow 템플릿에서 작업 만들기 페이지로 이동합니다.
  2. 템플릿에서 작업 만들기로 이동
  3. 작업 이름 필드에 고유한 작업 이름을 입력합니다.
  4. (선택사항): 리전 엔드포인트의 드롭다운 메뉴에서 값을 선택합니다. 기본 리전은 us-central1입니다.

    Dataflow 작업을 실행할 수 있는 리전 목록은 Dataflow 위치를 참조하세요.

  5. Dataflow 템플릿 드롭다운 메뉴에서 JMS to Pub/Sub template을 선택합니다.
  6. 제공된 매개변수 필드에 매개변수 값을 입력합니다.
  7. 작업 실행을 클릭합니다.

gcloud

셸 또는 터미널에서 템플릿을 실행합니다.

gcloud dataflow flex-template run JOB_NAME \
    --project=YOUR_PROJECT_ID \
    --region=REGION_NAME \
    --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/JMS_to_Cloud_PubSub \
    --parameters \
jmsServer=JMS_SERVER,\
inputName=INPUT_NAME,\
inputType=INPUT_TYPE,\
outputTopic=OUTPUT_TOPIC,\
username=USERNAME,\
password=PASSWORD
  

이 예시에서 다음 값을 바꿔야 합니다.

  • YOUR_PROJECT_ID를 프로젝트 ID로 바꿉니다.
  • 을 Dataflow 리전 이름으로 바꿉니다. 예를 들면 us-central1입니다.
  • JOB_NAME을 원하는 작업 이름으로 바꿉니다. 작업 이름이 유효하려면 정규 표현식 [a-z]([-a-z0-9]{0,38}[a-z0-9])?와 일치해야 합니다.
  • JMS_SERVER를 JMS 서버 주소로 바꿉니다. 예를 들면 tcp://10.0.0.0:61616입니다.
  • INPUT_NAME을 JMS 서버 입력 주제/큐의 이름으로 바꿉니다. 예를 들면 testtopic입니다.
  • INPUT_TYPE을 JMS 서버 대상 유형(큐/주제)으로 바꿉니다. 예를 들면 topic입니다.
  • OUTPUT_TOPIC을 Pub/Sub 출력 주제 이름으로 바꿉니다. 예를 들면 projects/myproject/topics/testoutput입니다.
  • USERNAME을 JMS 서버의 사용자 이름으로 바꿉니다. 예를 들면 testuser입니다.
  • PASSWORD를 JMS 서버에 사용되는 사용자 이름에 해당하는 비밀번호로 바꿉니다.

API

REST API를 사용하여 템플릿을 실행하려면 HTTP POST 요청을 전송합니다. API 및 승인 범위에 대한 자세한 내용은 projects.templates.launch를 참조하세요.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch
{
   "launch_parameter": {
      "jobName": "JOB_NAME",
      "parameters": {
          "jmsServer": "JMS_SERVER",
          "inputName": "INPUT_NAME",
          "inputType": "INPUT_TYPE",
          "outputTopic": "OUTPUT_TOPIC",
          "username": "USERNAME",
          "password": "PASSWORD"
      },
      "containerSpecGcsPath": "gs://dataflow-templates-REGION_NAME/VERSION/flex/JMS_to_Cloud_PubSub",
   }
}
  

이 예시에서 다음 값을 바꿔야 합니다.

  • YOUR_PROJECT_ID를 프로젝트 ID로 바꿉니다.
  • 을 Dataflow 리전 이름으로 바꿉니다. 예를 들면 us-central1입니다.
  • JOB_NAME을 원하는 작업 이름으로 바꿉니다. 작업 이름이 유효하려면 정규 표현식 [a-z]([-a-z0-9]{0,38}[a-z0-9])?와 일치해야 합니다.
  • JMS_SERVER를 JMS 서버 주소로 바꿉니다. 예를 들면 tcp://10.0.0.0:61616입니다.
  • INPUT_NAME을 JMS 서버 입력 주제/큐의 이름으로 바꿉니다. 예를 들면 testtopic입니다.
  • INPUT_TYPE을 JMS 서버 대상 유형(큐/주제)으로 바꿉니다. 예를 들면 topic입니다.
  • OUTPUT_TOPIC을 Pub/Sub 출력 주제 이름으로 바꿉니다. 예를 들면 projects/myproject/topics/testoutput입니다.
  • USERNAME을 JMS 서버의 사용자 이름으로 바꿉니다. 예를 들면 testuser입니다.
  • PASSWORD를 JMS 서버에 사용되는 사용자 이름에 해당하는 비밀번호로 바꿉니다.

다음 단계