Dataform 가이드

둘러보기

• Dataform 개요

  Dataform 개념 및 프로세스 개요입니다.

• Dataform 기능 개요

  Dataform 기능 개요입니다.

• Dataform Core 개요

  Dataform Core 개념 개요입니다.

시작하기

• 빠른 시작: SQL 워크플로 만들기 및 실행

  SQL 워크플로를 만들고 실행합니다.

• 빠른 시작: 프로덕션 실행 예약

  출시 구성으로 프로덕션 환경을 만들고 워크플로 구성으로 프로덕션 실행을 예약합니다.

• 빠른 시작: 개발 환경 만들기

  Dataform 작업공간 컴파일 재정의로 개발 환경을 만듭니다.

• 기존 Dataform에서 마이그레이션

  기존 Dataform 프로젝트를 Google Cloud의 Dataform으로 가져옵니다.

• 기존 Dataform 환경 및 일정 마이그레이션

  출시 및 워크플로 구성을 통해 기존 Dataform에서 Google Cloud의 Dataform으로 환경 및 일정을 마이그레이션합니다.

저장소 관리

• 저장소 소개

  Dataform의 저장소에 대해 알아보세요.

• 저장소 만들기

  Google Cloud 콘솔을 사용하여 저장소를 만들고, 저장소 서비스 계정을 설정 및 수정하고, Dataform에서 저장소를 삭제합니다.

• 제3자 Git 저장소에 연결

  Google Cloud 콘솔을 사용하여 Dataform 저장소를 원격 Git 저장소에 연결합니다.

• Dataform 설정 구성

  Google Cloud 콘솔을 사용하여 특정 저장소의 Dataform 설정을 수정합니다.

• 저장소에서 코드 구조화하기

  Dataform 저장소 내에서 SQL 워크플로 코드를 구조화하기 위한 권장사항을 알아봅니다.

• 저장소 크기 개요

  저장소 크기가 Dataform 개발 및 컴파일 리소스 사용량에 미치는 영향을 알아봅니다.

• 저장소 분할 소개

  저장소 분할 전략과 장점 및 단점을 알아보세요.

액세스 제어

• BigQuery에 Dataform 액세스 권한 부여

  워크플로 실행에 필요한 Dataform BigQuery 역할을 부여합니다.

• IAM으로 액세스 제어

  IAM으로 Dataform에 대한 액세스를 제어합니다.

• IAM으로 액세스 제어

  Dataform의 개별 테이블에 대한 BigQuery 액세스를 제어합니다.

• 원격 저장소 제한

  데이터 보호를 위해 Dataform 저장소에 연결할 수 있는 원격 저장소 풀을 제한합니다.

작업공간에서 개발

• 작업공간에서 개발 소개

  Dataform의 작업공간에 대해 알아보세요.

• 작업공간 만들기

  Google Cloud 콘솔을 사용하여 Dataform 작업공간을 만들고 초기화하고 삭제합니다.

• 코드 버전 제어

  Dataform에서 Git 버전 제어를 사용하세요.

테이블 만들기

• 테이블 소개

  Dataform의 테이블에 대해 알아보세요.

• 테이블 만들기

  Dataform Core를 사용하여 Dataform에서 테이블, 증분 테이블 또는 뷰를 정의합니다.

• 테이블 파티션 및 클러스터 만들기

  Dataform Core를 사용하여 Dataform에서 테이블 파티션과 클러스터를 만듭니다.

• 증분 테이블 구성

  Dataform Core를 사용하여 Dataform에서 증분 테이블을 구성합니다.

• 테이블 문서 추가

  Dataform Core를 사용하여 Dataform에서 테이블, 증분 테이블 또는 뷰를 문서화합니다.

• BigQuery 라벨 추가

  Dataform Core로 Dataform의 테이블에 BigQuery 라벨을 추가하세요.

• BigQuery 정책 태그 추가

  Dataform Core를 사용하여 Dataform에서 BigQuery 정책 태그를 추가하세요.

• 추가 테이블 설정 구성

  Dataform Core 테이블 정의 파일에서 추가 테이블 설정을 정의합니다.

SQL 워크플로 개발

• SQL 워크플로 소개

  Dataform의 SQL 워크플로에 대해 알아보세요.

• 데이터 소스 선언

  Dataform Core를 사용하여 Dataform에서 데이터 소스를 선언합니다.

• 종속 항목 선언

  Dataform에서 SQL 워크플로 객체 간에 종속 항목을 선언합니다.

• 커스텀 SQL 작업 추가

  Dataform Core로 Dataform에서 커스텀 SQL 작업을 정의합니다.

• 실행 태그 추가

  Dataform Core로 Dataform의 테이블에 실행 태그를 추가합니다.

• SQL 쿼리 미리보기

  BigQuery에 실행하기 전에 Dataform 작업공간에서 SQL 쿼리를 미리 봅니다.

SQL 워크플로 테스트

• 어설션이 있는 테이블 유효성 검사

  Dataform Core로 Dataform에서 어설션을 만듭니다.

자바스크립트로 개발

• Dataform의 자바스크립트 소개

  자바스크립트를 사용하여 Dataform에서 SQL 워크플로를 개발하는 방법을 알아보세요.

• 자바스크립트로 SQL 워크플로 개발

  자바스크립트를 사용하여 Dataform에서 SQL 워크플로 요소를 만듭니다.

• include와 함께 변수 및 함수 재사용

  Dataform에서 자바스크립트 include로 재사용 가능한 코드를 만듭니다.

• Dataform에서 패키지 만들기

  Dataform에서 SQL 워크플로를 개발하는 데 사용할 패키지를 만듭니다.

• Dataform에 패키지 설치

  Dataform 저장소에 자바스크립트 패키지를 설치하고 자바스크립트 또는 SQLX 파일에서 사용합니다.

• Dataform에서 비공개 패키지 인증

  Dataform 저장소에서 비공개 패키지를 인증하여 설치를 사용 설정합니다.

• Dataform에서 지연 변경 측정기준 사용

  Dataform에서 오픈소스 패키지를 사용하는 예시로 지연 변경 측정기준 패키지를 사용하여 테이블을 만드세요.

Dataform CLI로 개발

• Dataform CLI 사용

  오픈소스 Dataform CLI를 사용합니다.

SQL 워크플로 실행

• 트리거 실행

  Google Cloud 콘솔에서 전체 SQL 워크플로, 선택한 작업, 선택한 태그가 있는 작업의 실행을 수동으로 트리거합니다.

코드 수명 주기 관리

• Dataform의 코드 수명 주기 소개

  요구사항에 가장 적합하게 Dataform 코드 수명 주기를 구성하는 방법을 알아보세요.

• 작업공간 컴파일 재정의 구성

  저장소의 모든 작업공간에 대한 컴파일 재정의를 구성합니다. Dataform 워크플로 실행을 위한 컴파일 재정의를 만듭니다.

• 출시 구성 만들기

  Dataform에서 출시 구성을 만들어 컴파일 설정 템플릿을 구성합니다. 출시 구성을 사용하여 스테이징과 같은 실행 환경을 만들 수 있습니다.

• Dataform API로 컴파일 재정의 구성

  Dataform API 요청에서 Dataform 워크플로 호출의 컴파일 재정의를 구성합니다.

실행 예약

• 워크플로 구성으로 실행 예약

  Dataform에서 워크플로 구성을 만들어 실행을 예약하고 구성합니다.

• Workflows 및 Cloud Scheduler로 실행 예약

  Workflows와 Cloud Scheduler로 Dataform 실행을 예약합니다.

• Cloud Composer로 실행 예약

  Cloud Composer로 Dataform 실행을 예약합니다.

모니터링

• 실행 로그 모니터링

  Google Cloud 콘솔에서 Dataform 실행 로그를 봅니다.

• 감사 로깅

  Dataform 감사 로그를 확인합니다.

• Dataform에 대해 Cloud Logging 보기

  Cloud Logging으로 Dataform 워크플로 호출을 모니터링합니다.

유지보수

• Dataform 업데이트

  Dataform을 최신 버전으로 업데이트합니다.

권장사항

• 권장사항 개요

  Dataform 권장사항을 알아봅니다.

• 저장소 크기 개요

  저장소 크기가 Dataform 개발 및 컴파일 리소스 사용량에 미치는 영향을 알아봅니다.

• 저장소 분할

  저장소 분할 전략과 장점 및 단점을 알아보세요.

• 저장소에서 코드 구조화하기

  Dataform 저장소 내에서 SQL 워크플로 코드를 구조화하기 위한 권장사항을 알아봅니다.

• 코드 수명 주기 관리

  격리된 수명 주기 환경(개발, 스테이징, 프로덕션)을 구성하는 솔루션에 대해 알아보세요.