Application Integration에 지원되는 커넥터를 참조하세요.

Dataflow - 작업 만들기 태스크

Dataflow - 작업 만들기 태스크를 사용하면 Cloud Dataflow에서 Apache Beam SDK 중 하나를 사용하여 빌드된 데이터 파이프라인을 실행하는 작업을 만들 수 있습니다.

Cloud Dataflow는 스트림 및 일괄 데이터 처리 파이프라인을 실행하기 위한 완전 관리형 Google Cloud 서비스입니다.

시작하기 전에

Dataflow - 작업 만들기 태스크를 구성하기 전에 Google Cloud 프로젝트에서 다음 태스크를 수행해야 합니다.

  1. Dataflow API(dataflow.googleapis.com)를 사용 설정합니다.

    Dataflow API 사용 설정

  2. 인증 프로필을 만듭니다. Application Integration은 인증 프로필을 사용하여 Dataflow - 작업 만들기 태스크의 인증 엔드포인트에 연결합니다.

    서비스 계정에 추가 역할 또는 권한을 부여하려면 액세스 권한 부여, 변경, 취소를 참조하세요.

Dataflow - 작업 만들기 태스크 구성

  1. Google Cloud 콘솔에서 Application Integration 페이지로 이동합니다.

    Application Integration으로 이동

  2. 탐색 메뉴에서 통합을 클릭합니다.

    Google Cloud 프로젝트에서 사용할 수 있는 모든 통합이 나열된 통합 페이지가 나타납니다.

  3. 기존 통합을 선택하거나 통합 만들기를 클릭하여 새 통합을 만듭니다.

    새 통합을 만드는 경우:

    1. 통합 만들기 창에 이름과 설명을 입력합니다.
    2. 통합 리전을 선택합니다.
    3. 통합을 위한 서비스 계정을 선택합니다. 통합 툴바의 통합 요약 창에서 언제든지 통합에 대한 서비스 계정 세부정보를 변경하거나 업데이트할 수 있습니다.
    4. 만들기를 클릭합니다.

    통합 편집기 페이지에서 통합이 열립니다.

  4. 통합 편집기 탐색 메뉴에서 태스크를 클릭하여 사용 가능한 태스크 및 커넥터 목록을 확인합니다.
  5. Dataflow - 작업 만들기 요소를 클릭하여 통합 편집기에 배치합니다.
  6. 디자이너에서 Dataflow - 작업 만들기 요소를 클릭하여 Dataflow - 작업 만들기 태스크 구성 창을 표시합니다.
  7. 인증으로 이동하고 사용하려는 기존 인증 프로필을 선택합니다.

    선택사항. 태스크를 구성하기 전에 인증 프로필을 만들지 않았으면 + 새 인증 프로필을 클릭하고 새 인증 프로필 만들기에 설명된 단계를 따릅니다.

  8. 태스크 입력으로 이동하고 다음 태스크 입력 매개변수 표를 사용해 표시된 입력 필드를 구성합니다.

    입력 필드의 변경사항은 자동으로 저장됩니다.

태스크 입력 매개변수

다음 표에서는 Dataflow - 작업 만들기 태스크의 입력 매개변수를 설명합니다.

속성 데이터 유형 설명
리전 문자열 작업의 Cloud Dataflow 위치입니다.
ProjectsId 문자열 Google Cloud 프로젝트 ID입니다.
위치 문자열 이 작업이 포함된 리전 엔드포인트입니다.
요청 JSON JSON 구조 요청을 참조하세요.

태스크 출력

Dataflow - 작업 만들기 태스크는 새로 생성된 작업 인스턴스를 반환합니다.

오류 처리 전략

태스크의 오류 처리 전략은 일시적인 오류로 인해 태스크가 실패할 경우 수행할 태스크를 지정합니다. 오류 처리 전략을 사용하는 방법과 다양한 유형의 오류 처리 전략에 대한 자세한 내용은 오류 처리 전략을 참조하세요.

할당량 및 한도

할당량 및 한도에 대한 자세한 내용은 할당량 및 한도를 참조하세요.

다음 단계