저장소 소개

이 문서는 Dataform의 저장소 개념을 이해하는 데 도움이 됩니다.

각 Dataform 저장소에는 SQL 워크플로를 구성하는 SQLX 및 JavaScript 파일 모음과 Dataform 구성 파일 및 패키지가 포함되어 있습니다. 개발 작업공간에서 저장소 콘텐츠와 상호작용합니다.

Dataform은 저장소 ID의 알파벳 순서로 Dataform 페이지에 저장소를 표시합니다. 이를 정렬하고 필터링할 수 있습니다.

Dataform으로 이동

각 Dataform 저장소는 서비스 계정에 연결됩니다. 저장소를 만들 때 서비스 계정을 선택하거나 나중에 서비스 계정을 수정할 수 있습니다.

기본적으로 Dataform은 프로젝트 번호에서 파생된 서비스 계정을 다음과 같은 형식으로 사용합니다.

service-YOUR_PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

Dataform은 Git를 사용해서 변경사항을 기록하고 파일 버전을 관리합니다. 각 Dataform 저장소는 Git 저장소에 해당합니다. Dataform 저장소를 만든 후 원격 GitHub, GitLab 또는 Bitbucket 저장소에 연결할 수 있습니다.

Dataform 저장소에서 Dataform이 저장소 코드를 저장합니다. 연결된 저장소에서 제3자 저장소는 저장소 코드를 저장합니다. Dataform은 제3자 저장소와 상호작용하여 Dataform 개발 작업공간에서 콘텐츠를 수정하고 실행할 수 있습니다.

Dataform 저장소 페이지는 다음 구성요소로 구성됩니다.

개발 작업공간 탭
저장소에 생성된 개발 작업공간을 표시합니다.
출시 구성 탭
출시 버전을 검사, 생성, 수정, 삭제할 수 있습니다.
워크플로 실행 로그 탭
Dataform 워크플로 실행 로그를 표시합니다.
워크플로 구성 탭
워크플로 구성을 검사, 생성, 수정, 삭제할 수 있습니다.
설정 탭
저장소의 이름과 위치를 표시합니다. 제3자 Git 저장소에 연결된 저장소의 경우 제3자 저장소 소스, 기본 브랜치 이름, 보안 비밀 토큰을 표시합니다. 제3자 Git 저장소에 저장소를 연결하고 Git 연결을 수정하는 버튼을 표시합니다.
개발 작업공간 만들기 버튼
개발 작업공간을 만들 수 있습니다.

개발 작업공간을 만들고 초기화한 후 workflow_settings.yaml 파일을 수정하여 저장소의 다음 Dataform 설정을 구성할 수 있습니다.

  • 기본 데이터베이스(Google Cloud 프로젝트 ID)
  • 기본 스키마(BigQuery 데이터 세트 ID)
  • 기본 BigQuery 위치
  • 어설션의 기본 스키마(BigQuery 데이터 세트 ID)
  • bigquery로 설정해야 하는 웨어하우스
  • 컴파일 중에 프로젝트 코드에 사용할 수 있는 사용자 정의 변수

Dataform 저장소 설정에 대한 자세한 내용은 Dataform Core 참조의 IProjectConfig를 참조하세요.

다음 단계