Dataflow 관리 I/O

관리형 I/O 커넥터는 소스 및 싱크를 만들기 위한 공통 API를 제공하는 Apache Beam 변환입니다. 백엔드에서 Dataflow는 관리형 I/O 커넥터를 서비스로 취급하므로 Dataflow가 커넥터의 런타임 작업을 관리할 수 있습니다. 그런 다음 이러한 세부정보를 관리하는 대신 파이프라인의 비즈니스 로직에 집중할 수 있습니다.

다른 I/O 커넥터와 마찬가지로 Apache Beam 코드를 사용하여 관리형 I/O 커넥터를 만듭니다. 소스 또는 싱크를 지정하여 구성 매개변수 집합을 인스턴스화하고 전달합니다. 예를 들어 Apache Iceberg 싱크에는 catalog_name 매개변수가 필요합니다.

다음 예시에서는 구성 매개변수 맵을 전달하여 Apache Iceberg 싱크를 만드는 방법을 보여줍니다.

Java

pipeline.apply(
  Managed.write(ICEBERG)
    .withConfig(ImmutableMap.<String, Map>.builder()
      .put("catalog_name", "<catalog_name>")
      .put("warehouse_location", "<warehouse_location>")
      .build()));

YAML 파일에 구성 매개변수를 넣고 파일에 URL을 제공할 수도 있습니다.

Java

pipeline.apply(
  Managed.write(ICEBERG)
    .withConfigUrl(<config_url>));

자세한 내용은 Apache Beam GitHub 저장소의 Managed 클래스를 참조하세요.