데이터 소스 선언

이 문서에서는 Dataform Core를 사용하여 BigQuery 데이터 소스를 선언하는 방법을 보여줍니다.

모든 BigQuery 테이블 유형을 Dataform에서 데이터 소스로 선언할 수 있습니다. Dataform 외부에 있는 BigQuery 데이터 소스를 선언하면 이러한 데이터 소스를 최고 수준의 Dataform 객체로 취급할 수 있습니다. 데이터 소스를 선언한 후에는 Dataform의 다른 테이블과 같은 방식으로 데이터 소스를 참조하거나 확인할 수 있습니다.

시작하기 전에

데이터 소스를 선언하기 전에 저장소에서 개발 작업공간을 만들고 초기화합니다.

필요한 역할

데이터 소스를 선언하는 데 필요한 권한을 얻으려면 관리자에게 작업공간의 Dataform 편집자(roles/dataform.editor) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

데이터 소스 선언용 SQLX 파일 만들기

데이터 소스 선언용 SQLX 파일을 definitions/ 디렉터리에 저장합니다. definitions/ 디렉터리에 새 SQLX 파일을 만들려면 다음 단계를 따르세요.

  1. Cloud 콘솔에서 Dataform 페이지로 이동합니다.

    Dataform 페이지로 이동

  2. 저장소를 선택합니다.

  3. 개발 작업공간을 선택합니다.

  4. 파일 창에서 definitions/ 옆에 있는 더보기 메뉴를 클릭합니다.

  5. 파일 만들기를 클릭합니다.

  6. 새 파일 만들기 창에서 다음을 수행합니다.

    1. 파일 경로 추가 필드에 definitions/ 다음에 파일 이름을 입력하고 .sqlx를 입력합니다. 예를 들면 definitions/dataset-declaration.sqlx입니다.

      파일 이름에는 숫자, 문자, 하이픈, 밑줄만 포함할 수 있습니다.

    2. 파일 만들기를 클릭합니다.

데이터 소스 선언

SQLX 선언 파일당 하나의 데이터 소스를 선언할 수 있습니다. SQLX 파일의 구성 블록에서 데이터 소스를 선언하려면 다음 단계를 따르세요.

  1. 개발 작업공간의 파일 창에서 데이터 소스 선언에 대한 SQLX 파일을 클릭합니다.

  2. 파일에 다음 코드 스니펫을 입력합니다.

    config {
  type: "declaration",
  database: "DATABASE",
  schema: "SCHEMA",
  name: "NAME",
}

    다음을 바꿉니다.

    • DATABASE: 데이터 소스가 포함된 프로젝트의 프로젝트 ID
    • SCHEMA: 데이터 소스가 있는 BigQuery 데이터 세트
    • NAME: 데이터 소스로 사용할 테이블 또는 뷰의 이름. 나중에 이 이름을 사용하여 Dataform에서 데이터 소스를 참조할 수 있습니다.

  3. (선택사항): 형식을 클릭합니다.

다음 코드 샘플은 bigquery-public-data 프로젝트의 samples 데이터 세트에 있는 shakespeare 테이블의 샘플 선언을 데이터 소스로 보여줍니다.

    config {
      type: "declaration",
      database: "bigquery-public-data",
      schema: "samples",
      name: "shakespeare",
    }

다음 단계