워크플로 구성으로 실행 예약

이 문서에서는 Dataform에서 SQL 워크플로 실행을 예약하고 구성하기 위해 워크플로 구성을 만드는 방법을 보여줍니다. 워크플로 구성을 사용하여 SQL 워크플로를 일정에 따라 실행할 수 있습니다.

워크플로 구성 정보

BigQuery에서 모든 또는 선택된 SQL 워크플로 작업에 대해 Dataform 실행을 예약하려면 워크플로 구성을 만들면 됩니다. 워크플로 구성에서 컴파일 출시 구성을 선택하고 실행을 위한 SQL 워크플로 작업을 선택한 후 실행 일정을 설정합니다.

그러면 워크플로 구성 예약 실행 중에 Dataform에서 출시 구성의 최신 컴파일 결과에서 선택한 작업을 BigQuery에 배포합니다. Dataform API workflowConfigs를 사용하여 워크플로 구성 실행을 수동으로 트리거할 수도 있습니다.

Dataform 워크플로 구성에는 다음과 같은 실행 설정이 포함됩니다.

  • 워크플로 구성 ID
  • 출시 구성

  • 서비스 계정

    워크플로 구성과 연결된 서비스 계정입니다. Google Cloud 프로젝트와 연결된 서비스 계정인 기본 Dataform 서비스 계정을 선택하거나 다른 서비스 계정을 직접 입력할 수 있습니다. 기본적으로 워크플로 구성에는 repositories와 동일한 서비스 계정이 사용됩니다.

  • 실행할 SQL 워크플로 작업:

    • 모든 작업
    • 작업 선택
    • 태그 선택

  • 실행 일정 및 시간대

시작하기 전에

  1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

    Dataform 페이지로 이동

  2. 저장소를 선택하거나 만듭니다.

  3. 출시 구성을 만듭니다.

필요한 역할

워크플로 구성을 만드는 데 필요한 권한을 얻으려면 관리자에게 저장소에 대한 Dataform 편집자(roles/dataform.editor) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

기본 Dataform 서비스 계정 이외의 서비스 계정을 사용하려면 커스텀 서비스 계정에 액세스 권한을 부여합니다.

워크플로 구성 만들기

Dataform 워크플로 구성을 만들려면 다음 단계를 따르세요.

  1. 저장소에서 출시 및 일정으로 이동합니다.
  2. 워크플로 구성 섹션에서 만들기를 클릭합니다.

  3. 워크플로 구성 만들기 창에서 구성 ID 필드에 워크플로 구성의 고유 ID를 입력합니다.

    ID에는 숫자, 문자, 하이픈, 밑줄만 포함할 수 있습니다.

  4. 출시 구성 드롭다운에서 컴파일 출시 구성을 선택합니다.

  5. 선택사항: 실행 빈도 필드에 unix-cron 형식으로 실행 빈도를 입력합니다.

    Dataform이 해당 출시 구성에서 최신 컴파일 결과를 실행하도록 하려면 컴파일 결과 생성 시간과 예약된 실행 시간 사이의 공백이 최소 1시간 이상 유지되도록 합니다.

  6. 서비스 계정 드롭다운에서 워크플로 구성의 서비스 계정을 선택합니다.

    드롭다운에서 기본 Dataform 서비스 계정 또는 액세스 권한이 있는 Google Cloud 프로젝트와 연결된 서비스 계정을 선택할 수 있습니다. 서비스 계정을 선택하지 않으면 워크플로 구성에서 저장소 서비스 계정을 사용합니다.

  7. 선택사항: 시간대 드롭다운에서 실행 시간대를 선택합니다.

    기본 시간대는 UTC입니다.

  8. 실행할 SQL 워크플로 작업을 선택합니다.

    1. 전체 SQL 워크플로를 실행하려면 모든 작업을 클릭합니다.
    2. SQL 워크플로에서 선택한 작업을 실행하려면 작업 선택을 클릭한 후 작업을 선택합니다.
    3. 선택한 태그로 작업을 실행하려면 태그 선택을 클릭한 다음 태그를 선택합니다.
    4. 선택사항: 선택한 작업 또는 태그 및 종속 항목을 실행하려면 종속 항목 포함 옵션을 선택합니다.
    5. 선택사항: 선택한 작업 또는 태그 및 종속자를 실행하려면 종속자 포함 옵션을 선택합니다.
    6. 선택사항: 모든 테이블을 처음부터 다시 빌드하려면 전체 새로고침으로 실행 옵션을 선택합니다.

    이 옵션이 없으면 Dataform은 증분 테이블을 처음부터 다시 빌드하지 않고 업데이트합니다.

  9. 만들기를 클릭합니다.



예를 들어 다음 워크플로 구성은 1시간(CEST 시간대)마다 hourly 태그가 있는 작업을 실행합니다.

  • 구성 ID: production-hourly
  • 출시 구성: -
  • 빈도: 0 * * * *
  • 시간대: Central European Summer Time (CEST)
  • SQL 워크플로 작업 선택: 태그 선택, hourly 태그

워크플로 구성 수정

워크플로 구성을 수정하려면 다음 단계를 따르세요.

  1. 저장소에서 출시 및 일정으로 이동합니다.
  2. 수정하려는 워크플로 구성 옆에 있는 더보기 메뉴를 클릭한 다음 수정을 클릭합니다.
  3. 워크플로 구성 수정 창에서 출시 구성 설정을 수정한 후 저장을 클릭합니다.

워크플로 구성 삭제

워크플로 구성을 삭제하려면 다음 단계를 따르세요.

  1. 저장소에서 출시 및 일정으로 이동합니다.
  2. 삭제하려는 워크플로 구성 옆에 있는 더보기 메뉴를 클릭한 다음 삭제를 클릭합니다.
  3. 출시 구성 삭제 대화상자에서 삭제를 클릭합니다.

다음 단계