데이터 소스 선언

이 문서에서는 Dataform Core를 사용하여 BigQuery 데이터 소스를 선언하는 방법을 보여줍니다.

Dataform에서 BigQuery 테이블 유형을 데이터 소스로 선언할 수 있습니다. Dataform 외부의 BigQuery 데이터 소스를 선언하면 이러한 데이터 소스를 Dataform 객체로 취급할 수 있습니다.

데이터 소스를 선언하는 것은 선택사항이지만 다음 작업을 수행하려는 경우 유용할 수 있습니다.

  • Dataform의 다른 테이블과 동일한 방식으로 선언된 소스를 참조하거나 확인하기
  • 시각화된 Dataform 그래프에서 선언된 소스 확인하기
  • Dataform을 사용하여 외부에서 생성된 테이블의 테이블 수준 및 열 수준 설명을 관리하기
  • 외부 데이터 소스의 모든 종속 항목이 포함된 워크플로 호출을 트리거하기

JavaScript 또는 SQLX 파일을 사용하여 데이터 소스를 선언할 수 있습니다. JavaScript 파일에서는 파일당 여러 데이터 소스를 선언할 수 있습니다. SQLX 파일에서는 파일당 하나의 데이터 소스를 선언할 수 있습니다.

시작하기 전에

데이터 소스를 선언하기 전에 저장소에서 개발 작업공간을 만들고 초기화합니다.

필요한 역할

데이터 소스를 선언하는 데 필요한 권한을 얻으려면 관리자에게 작업공간에 대한 Dataform 편집자(roles/dataform.editor) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

여러 데이터 소스 선언을 위한 JavaScript 파일 만들기

데이터 소스 선언을 위한 JavaScript 파일을 definitions/ 디렉터리에 저장합니다. definitions/ 디렉터리에 새 JavaScript 파일을 만들려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

    Dataform 페이지로 이동

  2. 저장소를 선택합니다.

  3. 개발 작업공간을 선택합니다.

  4. 파일 창에서 definitions/ 옆에 있는 더보기 메뉴를 클릭합니다.

  5. 파일 만들기를 클릭합니다.

  6. 새 파일 만들기 창에서 다음을 수행합니다.

    1. 파일 경로 추가 필드에 definitions/ 다음에 파일 이름을 입력하고 .js를 입력합니다. 예를 들면 definitions/declarations.js입니다.

      파일 이름에는 숫자, 문자, 하이픈, 밑줄만 포함할 수 있습니다.

    2. 파일 만들기를 클릭합니다.

JavaScript 파일에 선언 추가

JavaScript 파일당 여러 데이터 소스를 선언할 수 있습니다. 새 선언을 추가하려면 다음 단계를 수행합니다.

  1. 개발 작업공간의 파일 창에서 데이터 소스 선언의 JavaScript 파일을 클릭합니다.

  2. 파일에서 각 데이터 소스에 대해 다음 코드 스니펫을 추가합니다.

    declaration({
  database: "DATABASE",
  schema: "SCHEMA",
  name: "NAME",
})

    다음을 바꿉니다.

    • DATABASE: 데이터 소스가 포함된 프로젝트의 프로젝트 ID
    • SCHEMA: 데이터 소스가 있는 BigQuery 데이터 세트
    • NAME: 데이터 소스로 사용할 테이블 또는 뷰의 이름. 나중에 이 이름을 사용하여 Dataform에서 데이터 소스를 참조할 수 있습니다.

데이터 소스 선언을 위한 SQLX 파일 만들기

데이터 소스 선언용 SQLX 파일을 definitions/ 디렉터리에 저장합니다. definitions/ 디렉터리에 새 SQLX 파일을 만들려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

    Dataform 페이지로 이동

  2. 저장소를 선택합니다.

  3. 개발 작업공간을 선택합니다.

  4. 파일 창에서 definitions/ 옆에 있는 더보기 메뉴를 클릭합니다.

  5. 파일 만들기를 클릭합니다.

  6. 새 파일 만들기 창에서 다음을 수행합니다.

    1. 파일 경로 추가 필드에 definitions/ 다음에 파일 이름을 입력하고 .sqlx를 입력합니다. 예를 들면 definitions/dataset-declaration.sqlx입니다.

      파일 이름에는 숫자, 문자, 하이픈, 밑줄만 포함할 수 있습니다.

    2. 파일 만들기를 클릭합니다.

데이터 소스 선언

SQLX 선언 파일당 하나의 데이터 소스를 선언할 수 있습니다. SQLX 파일의 구성 블록에서 데이터 소스를 선언하려면 다음 단계를 따르세요.

  1. 개발 작업공간의 파일 창에서 데이터 소스 선언에 사용할 SQLX 파일을 클릭합니다.

  2. 파일에 다음 코드 스니펫을 입력합니다.

    config {
  type: "declaration",
  database: "DATABASE",
  schema: "SCHEMA",
  name: "NAME",
}

    다음을 바꿉니다.

    • DATABASE: 데이터 소스가 포함된 프로젝트의 프로젝트 ID
    • SCHEMA: 데이터 소스가 있는 BigQuery 데이터 세트
    • NAME: 데이터 소스로 사용할 테이블 또는 뷰의 이름. 나중에 이 이름을 사용하여 Dataform에서 데이터 소스를 참조할 수 있습니다.

  3. (선택사항): 형식을 클릭합니다.

다음 코드 샘플은 bigquery-public-data 프로젝트의 samples 데이터 세트에 있는 shakespeare 테이블을 데이터 소스로 선언한 샘플을 보여줍니다.

    config {
      type: "declaration",
      database: "bigquery-public-data",
      schema: "samples",
      name: "shakespeare",
    }

다음 단계