이 문서에서는 Dataform에서 출시 구성을 만들어 일정에 따라 실행할 수 있는 컴파일 설정 템플릿을 구성하는 방법을 보여줍니다. 출시 구성을 사용하여 스테이징 및 프로덕션과 같은 실행 환경을 구성할 수 있습니다.
Dataform 출시 구성 정보
BigQuery에서 SQL 워크플로를 실행하기 위해 Dataform은 SQL 워크플로 코드를 컴파일 결과로 컴파일합니다. 이 프로세스는 Dataform 작업공간에서 SQL 워크플로를 개발할 때 자동으로 수행됩니다.
출시 구성을 사용하면 컴파일 결과를 맞춤설정할 수 있습니다. 이를 사용하여 스테이징과 같은 실행 환경을 만들 수 있습니다.
출시 구성 설정
출시 구성에서는 workflow_settings.yaml 설정의 컴파일 재정의를 구성하고, 컴파일 변수를 설정하고, 컴파일 결과를 만드는 빈도를 설정할 수 있습니다.
Dataform 출시 구성에는 다음 컴파일 설정이 포함됩니다.
- 출시 설정
- 출시 ID, 컴파일 결과를 위한 git commitish, 컴파일 결과를 만드는 빈도입니다. 빈도는 선택사항인 설정입니다. 설정하는 경우 최소 빈도는 1시간입니다.
- 컴파일 재정의
workflow_settings.yaml에 정의된 Google Cloud 프로젝트, 테이블 프리픽스, 스키마 서픽스, 컴파일 변수의 재정의입니다.
출시 구성 작동 방식
Dataform은 지정된 빈도로 또는 사용자가 컴파일을 트리거할 때 출시 구성에서 컴파일 결과를 만듭니다.
빈도는 선택사항인 설정이며 출시 구성을 만들 필요가 없습니다. 설정하는 경우 최소 빈도는 1시간입니다.
출시 구성 세부정보 페이지에서 컴파일을 수동으로 트리거하거나, Dataform API releaseConfigs로 컴파일을 트리거할 수 있습니다.
컴파일 중 Dataform은 저장소의 지정된 Git commitish에서 코드를 가져옵니다. 그런 다음 Dataform이 적용된 컴파일 재정의(있는 경우)로 코드를 컴파일하고 컴파일 결과를 만듭니다. 출시 구성에 대해 생성된 최신 컴파일 결과는 실시간 컴파일 결과입니다.
워크플로 구성의 출시 구성에서 컴파일 결과 실행을 예약할 수 있습니다. 일정 외부에서 선택한 출시 구성을 실행할 수도 있습니다. 워크플로 구성 실행 중 Dataform은 선택한 출시 구성에서 실시간 컴파일 결과를 실행합니다.
시작하기 전에
Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.
저장소를 선택하거나 만듭니다.
선택사항: 출시 구성에서 기본 Google Cloud 프로젝트를 재정의하려면 사용하려는 Google Cloud 프로젝트에 대해 Dataform 서비스 계정에 액세스 권한을 부여합니다.
필요한 역할
출시 구성을 만드는 데 필요한 권한을 얻으려면 관리자에게 저장소의 Dataform 편집자(roles/dataform.editor) IAM 역할을 부여해 달라고 요청하세요.
역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.
커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.
출시 구성 만들기
Dataform 출시 구성을 만들려면 다음 단계를 따르세요.
- 저장소에서 출시 및 일정으로 이동합니다.
- 출시 구성 섹션에서 만들기를 클릭합니다.
출시 구성 만들기 창에서 출시 설정을 구성합니다.
출시 ID 필드에 출시 구성의 고유 ID를 입력합니다.
ID에는 숫자, 문자, 하이픈, 밑줄만 포함할 수 있습니다.
Git commitish 필드에 출시에 대한 Git 브랜치 또는 Git 커밋 SHA를 입력합니다.
원격 저장소에 연결되지 않은 Dataform 저장소에서 값은 항상
main입니다.선택사항: 빈도 드롭다운에서 컴파일 결과를 만드는 빈도를 선택합니다.
설정하는 경우 최소 빈도는 1시간입니다.
선택사항: 컴퓨팅 재정의 섹션에서 컴파일 설정을 구성합니다.
- Google Cloud 프로젝트 ID 필드에 컴파일 결과를 저장할 Google Cloud 프로젝트의 ID를 입력합니다.
- 스키마 서픽스 필드에서
workflow_settings.yaml에 구성된 스키마에 추가할 서픽스를 입력합니다. - 테이블 프리픽스 필드에 모든 테이블 이름의 프리픽스를 입력합니다.
선택사항: 컴파일 변수 섹션에서 컴파일 변수를 설정합니다.
- 변수 추가를 클릭합니다.
- 키 필드에 컴파일 변수를 입력합니다.
- 값 필드에 컴파일 변수의 값을 입력합니다.
- 다른 컴파일 변수를 추가하려면 변수 추가를 클릭합니다.
만들기를 클릭합니다.
기본 Google Cloud 프로젝트를 재정의하는 경우 출시 구성에 설정된 Google Cloud 프로젝트에 대해 Dataform 서비스 계정에 액세스 권한이 있는지 확인합니다.
예를 들어 다음 출시 구성에서는 컴파일 재정의 없이 main 브랜치에서 매시간 production 컴파일 결과를 만듭니다.
- 출시 ID:
production - Git commitish:
main - 빈도: 시간별
- 컴파일 재정의 없음
출시 구성 세부정보 보기
출시 구성에 대한 다음 세부정보를 볼 수 있습니다.
- 출시 설정
- Git commitish
- 마지막 컴파일 결과 타임스탬프
- 크론 일정
- 컴파일 재정의
- 컴파일 변수
- 실시간 컴파일 결과
- 생성 타임스탬프
- Git commitish
- 커밋 SHA
- 이전에 예약된 컴파일 결과
출시 구성 세부정보를 보려면 다음 단계를 따르세요.
- 저장소에서 출시 및 일정으로 이동합니다.
- 출시 구성을 선택합니다.
- 출시 구성 세부정보 페이지에서 출시 구성의 세부정보를 검사합니다.
예약된 컴파일 결과 테이블에는 출시 구성에 의해 자동으로 생성된 이전 컴파일 결과가 표시됩니다. 수동으로 또는 Dataform API 호출을 통해 생성된 컴파일 결과는 표에 표시되지 않습니다.
수동으로 컴파일 트리거
선택한 출시 구성을 통해 컴파일 결과를 수동으로 만들려면 다음 단계를 따르세요.
- 저장소에서 출시 및 일정으로 이동합니다.
- 출시 구성을 선택합니다.
- 출시 구성 세부정보 페이지에서 새 컴파일을 클릭합니다.
새로 생성된 컴파일 결과는 해당 출시 구성의 실시간 결과가 됩니다.
수동 컴파일 결과는 출시 구성 세부정보 페이지의 예약된 컴파일 결과 표에 표시되지 않습니다.
출시 구성 실행 트리거
선택한 출시 구성의 라이브 컴파일 결과 실행을 BigQuery에 트리거하려면 다음 단계를 따르세요.
- 저장소에서 출시 및 일정으로 이동합니다.
- 출시 구성 섹션에서 실행 시작을 클릭합니다.
- 수동 워크플로 실행 창의 출시 구성 드롭다운에서 출시 구성을 선택합니다.
- 실행할 SQL 워크플로 작업을 선택합니다.
- 전체 SQL 워크플로를 실행하려면 모든 작업을 클릭합니다.
- SQL 워크플로에서 선택한 작업을 실행하려면 작업 선택을 클릭한 다음 작업을 선택합니다.
- 선택한 태그로 작업을 실행하려면 태그 선택을 클릭한 후 태그를 선택합니다.
- 선택사항: 선택한 작업 또는 태그 및 종속 항목을 실행하려면 종속 항목 포함 옵션을 선택합니다.
- 선택사항: 선택한 작업 또는 태그 및 종속자를 실행하려면 종속자 포함 옵션을 선택합니다.
선택사항: 모든 테이블을 처음부터 다시 빌드하려면 전체 새로고침으로 실행 옵션을 선택합니다.
이 옵션이 없으면 Dataform은 테이블을 처음부터 다시 빌드하지 않고 증분 테이블을 업데이트합니다.
실행 시작을 클릭합니다.
출시 구성 수정
출시 구성을 수정하려면 다음 단계를 따르세요.
- 저장소에서 출시 및 일정으로 이동합니다.
- 수정하려는 출시 구성 옆에 있는 더보기 메뉴를 클릭한 다음 수정을 클릭합니다.
- 출시 구성 수정 창에서 출시 구성 설정을 수정한 후 저장을 클릭합니다.
출시 구성 삭제
출시 구성을 삭제하려면 다음 단계를 따르세요.
- 저장소에서 출시 및 일정으로 이동합니다.
- 삭제하려는 출시 구성 옆에 있는 더보기 메뉴를 클릭한 다음 삭제를 클릭합니다.
- 출시 구성 삭제 대화상자에서 삭제를 클릭합니다.
다음 단계
- Dataform 워크플로 구성을 만드는 방법은 워크플로 구성으로 실행 예약을 참조하세요.
- Dataform의 코드 수명 주기에 대한 자세한 내용은 Dataform의 코드 수명 주기 소개를 참조하세요.