MQTT to Pub/Sub 템플릿

MQTT to Pub/Sub 템플릿은 MQTT 주제에서 메시지를 읽고 Pub/Sub에 쓰는 스트리밍 파이프라인입니다. 여기에는 MQTT 서버에 인증이 필요한 경우 선택적 매개변수 username 및 password가 포함됩니다.

파이프라인 요구사항

Pub/Sub 출력 주제 이름이 있어야 합니다.
MQTT 호스트 IP가 있어야 하며 작업자 머신이 MQTT 호스트에 연결하기 위한 적절한 네트워크 구성이 있어야 합니다.
데이터가 추출되는 MQTT 주제에는 이름이 있어야 합니다.

템플릿 매개변수

매개변수	설명
`brokerServer`	MQTT 브로커 서버 IP 또는 호스트입니다. 예를 들면 `tcp://10.0.0.1:1883`입니다.
`inputTopic`	데이터를 읽어 오는 MQTT 주제의 이름입니다.
`outputTopic`	데이터를 기록하는 출력 Pub/Sub 주제의 이름입니다.
`username`	(선택사항) MQTT 서버에서 인증에 사용할 사용자 이름입니다.
`password`	(선택사항) 제공된 사용자 이름과 연결된 비밀번호입니다.

템플릿 실행

콘솔

Dataflow 템플릿에서 작업 만들기 페이지로 이동합니다.

템플릿에서 작업 만들기로 이동

작업 이름 필드에 고유한 작업 이름을 입력합니다.
선택사항: 리전 엔드포인트의 드롭다운 메뉴에서 값을 선택합니다. 기본 리전 엔드포인트는 us-central1입니다.
Dataflow 작업을 실행할 수 있는 리전 목록은 Dataflow 위치를 참조하세요.
Dataflow 템플릿 드롭다운 메뉴에서 MQTT to Pub/Sub template을 선택합니다.
제공된 매개변수 필드에 매개변수 값을 입력합니다.
작업 실행을 클릭합니다.

gcloud

셸 또는 터미널에서 템플릿을 실행합니다.

gcloud beta dataflow flex-template run JOB_NAME \
    --project=YOUR_PROJECT_ID \
    --region=REGION_NAME \
    --template-file-gcs-location=gs://dataflow-templates/VERSION/flex/MQTT_to_Cloud_PubSub \
    --parameters \
brokerServer=MQTT_SERVER,\
inputTopic=INPUT_TOPIC,\
outputTopic=OUTPUT_TOPIC, \
username=USERNAME, \
password=PASSWORD

이 예시에서 다음 값을 바꿔야 합니다.

YOUR_PROJECT_ID를 프로젝트 ID로 바꿉니다.
을 Dataflow 리전 이름으로 바꿉니다. 예를 들면 us-central1입니다.
JOB_NAME을 원하는 작업 이름으로 바꿉니다. 작업 이름이 유효하려면 정규 표현식 [a-z]([-a-z0-9]{0,38}[a-z0-9])?와 일치해야 합니다.
INPUT_TOPIC을 MQTT 서버 입력 주제 이름으로 바꿉니다. 예를 들면 testtopic입니다.
MQTT_SERVER를 MQTT 서버 주소로 바꿉니다. 예를 들면 tcp://10.128.0.62:1883입니다.
OUTPUT_TOPIC을 Pub/Sub 출력 주제 이름으로 바꿉니다. 예를 들면 projects/myproject/topics/testoutput입니다.
USERNAME을 MQTT 서버의 사용자 이름으로 바꿉니다. 예를 들면 testuser입니다.
PASSWORD를 MQTT 서버에 사용되는 사용자 이름에 해당하는 비밀번호로 바꿉니다.

API

REST API를 사용하여 템플릿을 실행하려면 HTTP POST 요청을 전송합니다. API 및 승인 범위에 대한 자세한 내용은 projects.templates.launch를 참조하세요.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch
{
   "launch_parameter": {
      "jobName": "JOB_NAME",
      "parameters": {
          "brokerServer": "MQTT_SERVER",
          "inputTopic": "INPUT_TOPIC",
          "outputTopic": "OUTPUT_TOPIC",
          "username": "USERNAME",
          "password": "PASSWORD"
      },
      "containerSpecGcsPath": "gs://dataflow-templates/VERSION/flex/MQTT_to_Cloud_PubSub",
   }
}

이 예시에서 다음 값을 바꿔야 합니다.

YOUR_PROJECT_ID를 프로젝트 ID로 바꿉니다.
을 Dataflow 리전 이름으로 바꿉니다. 예를 들면 us-central1입니다.
JOB_NAME을 원하는 작업 이름으로 바꿉니다. 작업 이름이 유효하려면 정규 표현식 [a-z]([-a-z0-9]{0,38}[a-z0-9])?와 일치해야 합니다.
INPUT_TOPIC을 MQTT 서버 입력 주제 이름으로 바꿉니다. 예를 들면 testtopic입니다.
MQTT_SERVER를 MQTT 서버 주소로 바꿉니다. 예를 들면 tcp://10.128.0.62:1883입니다.
OUTPUT_TOPIC을 Pub/Sub 출력 주제 이름으로 바꿉니다. 예를 들면 projects/myproject/topics/testoutput입니다.
USERNAME을 MQTT 서버의 사용자 이름으로 바꿉니다. 예를 들면 testuser입니다.
PASSWORD를 MQTT 서버에 사용되는 사용자 이름에 해당하는 비밀번호로 바꿉니다.

템플릿 소스 코드

Java

GitHub에서 보기 의견 보내기

/*
 * Copyright (C) 2023 Google LLC
 *
 * Licensed under the Apache License, Version 2.0 (the "License"); you may not
 * use this file except in compliance with the License. You may obtain a copy of
 * the License at
 *
 *   http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS, WITHOUT
 * WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the
 * License for the specific language governing permissions and limitations under
 * the License.
 */
package com.google.cloud.teleport.v2.templates;

import com.google.cloud.teleport.metadata.Template;
import com.google.cloud.teleport.metadata.TemplateCategory;
import com.google.cloud.teleport.metadata.TemplateParameter;
import java.nio.charset.StandardCharsets;
import org.apache.beam.sdk.Pipeline;
import org.apache.beam.sdk.PipelineResult;
import org.apache.beam.sdk.io.gcp.pubsub.PubsubIO;
import org.apache.beam.sdk.io.mqtt.MqttIO;
import org.apache.beam.sdk.options.PipelineOptions;
import org.apache.beam.sdk.options.PipelineOptionsFactory;
import org.apache.beam.sdk.options.Validation;
import org.apache.beam.sdk.transforms.DoFn;
import org.apache.beam.sdk.transforms.ParDo;

/** Dataflow template which reads data from Mqtt Topic and writes it to Cloud PubSub. */
@Template(
    name = "Mqtt_to_PubSub",
    category = TemplateCategory.STREAMING,
    displayName = "Mqtt to Pubsub",
    description = "A pipeline to extract from Mqtt Broker Server to Pubsub Topic.",
    optionsClass = MqttToPubsub.MqttToPubsubOptions.class,
    flexContainerName = "mqtt-to-pubsub",
    contactInformation = "https://cloud.google.com/support")
public class MqttToPubsub {

  /**
   * Runs a pipeline which reads data from Mqtt topic and writes it to Cloud PubSub.
   *
   * @param args arguments to the pipeline
   */
  public static void main(String[] args) {
    MqttToPubsubOptions options =
        PipelineOptionsFactory.fromArgs(args).withValidation().as(MqttToPubsubOptions.class);
    run(options);
  }

  public static void validate(MqttToPubsubOptions options) {
    if (options != null) {
      if ((options.getUsername() != null
              && (!options.getUsername().isEmpty() || !options.getUsername().isBlank()))
          && (options.getPassword() != null
              || options.getPassword().isBlank()
              || options.getPassword().isEmpty())) {
        throw new IllegalArgumentException(
            "While username is provided, password is required for authentication");
      }
    }
  }

  public static PipelineResult run(MqttToPubsubOptions options) {
    validate(options);
    Pipeline pipeline = Pipeline.create(options);
    MqttIO.Read mqttIo;
    if (!options.getUsername().isEmpty() || !options.getPassword().isBlank()) {
      mqttIo =
          MqttIO.read()
              .withConnectionConfiguration(
                  MqttIO.ConnectionConfiguration.create(
                          options.getBrokerServer(), options.getInputTopic())
                      .withUsername(options.getUsername())
                      .withPassword(options.getPassword()));
    } else {
      mqttIo =
          MqttIO.read()
              .withConnectionConfiguration(
                  MqttIO.ConnectionConfiguration.create(
                      options.getBrokerServer(), options.getInputTopic()));
    }

    return pipeline
        .apply("ReadFromMqttTopic", mqttIo)
        .apply(ParDo.of(new ByteToStringTransform()))
        .apply("WriteToPubSubTopic", PubsubIO.writeStrings().to(options.getOutputTopic()))
        .getPipeline()
        .run();
  }

  static class ByteToStringTransform extends DoFn<byte[], String> {
    @ProcessElement
    public void processElement(@Element byte[] word, OutputReceiver<String> out) {
      out.output(new String(word, StandardCharsets.UTF_8));
    }
  }

  /**
   * The {@link MqttToPubsubOptions} interface provides the custom execution options passed by the
   * executor at the command-line.
   */
  public interface MqttToPubsubOptions extends PipelineOptions {
    @TemplateParameter.Text(
        order = 1,
        optional = true,
        regexes = {"[,\\/:a-zA-Z0-9._-]+"},
        description = "MQTT Broker IP",
        helpText = "Server IP for MQTT broker",
        example = "tcp://host:1883")
    @Validation.Required
    String getBrokerServer();

    void setBrokerServer(String brokerServer);

    @TemplateParameter.Text(
        order = 2,
        optional = false,
        regexes = {"[a-zA-Z0-9._-]+"},
        description = "MQTT topic(s) to read the input from",
        helpText = "MQTT topic(s) to read the input from.",
        example = "topic")
    @Validation.Required
    String getInputTopic();

    void setInputTopic(String inputTopics);

    @TemplateParameter.PubsubTopic(
        order = 3,
        description = "Output Pub/Sub topic",
        helpText =
            "The name of the topic to which data should published, in the format of 'projects/your-project-id/topics/your-topic-name'",
        example = "projects/your-project-id/topics/your-topic-name")
    @Validation.Required
    String getOutputTopic();

    void setOutputTopic(String outputTopic);

    @TemplateParameter.Text(
        order = 4,
        description = "MQTT Username",
        helpText = "MQTT username for authentication with MQTT server",
        example = "sampleusername")
    String getUsername();

    void setUsername(String username);

    @TemplateParameter.Password(
        order = 5,
        description = "MQTT Password",
        helpText = "Password for username provided for authentication with MQTT server",
        example = "samplepassword")
    String getPassword();

    void setPassword(String password);
  }
}