SQL 쿼리 미리보기

이 문서에서는 쿼리를 BigQuery에 실행하기 전에 Dataform 작업공간에서 SQL 쿼리의 출력을 미리 보는 방법을 보여줍니다.

Dataform의 쿼리 미리보기 정보

Dataform Core를 사용하여 SQLX 또는 자바스크립트 파일에서 쿼리를 개발할 때 Dataform은 실시간으로 쿼리를 SQL로 컴파일합니다. 컴파일된 SQL 쿼리를 BigQuery에 실행하기 전에 출력을 테스트하려면 Dataform 작업공간에서 쿼리 미리보기를 실행하면 됩니다.

쿼리 미리보기를 실행하면 Dataform이 BigQuery에서 작업을 실행하여 임시 대상 테이블에서 컴파일된 쿼리를 실행하고 작업공간에 쿼리 결과를 표시합니다. 실행을 트리거하여 테이블을 BigQuery에 게시하기 전에 쿼리 출력을 검사할 수 있습니다. 미리보기된 쿼리가 있는 임시 테이블은 최대 24시간 후에 자동으로 삭제됩니다. BigQuery 작업에 대한 자세한 내용은 BigQuery 작업 소개를 참조하세요.

Dataform에서 쿼리 미리보기를 실행하면 BigQuery에서 요금이 청구됩니다. BigQuery 가격 책정에 대한 자세한 내용은 BigQuery 가격 책정을 참조하세요.

쿼리 미리보기 중에 Dataform은 사용자 인증 정보를 사용하여 BigQuery에서 작업을 실행합니다. 하지만 워크플로 실행 중에 Dataform은 서비스 계정 사용자 인증 정보를 사용하여 BigQuery에서 애셋을 만들거나 업데이트합니다.

Dataform은 작업공간의 쿼리 결과 패널에 현재 브라우저 세션 중에 미리보기된 모든 쿼리의 결과를 표시합니다. 쿼리 결과 패널에서 현재 브라우저 세션 중에 미리보기된 각 쿼리에 대한 다음 정보를 볼 수 있습니다.

  • 작업 정보
    • BigQuery 작업 ID
    • 미리보기를 실행하는 사용자
    • 워크플로 설정 파일에서 가져온 작업이 실행되는 위치
    • BigQuery 작업 생성, 시작, 종료 시간
    • BigQuery 작업 기간
    • 처리한 바이트
    • BigQuery에서 청구된 바이트
    • 작업 우선순위
    • 쿼리에서 legacy SQL 사용
    • 쿼리의 임시 대상 테이블
  • 쿼리 결과
  • 쿼리 출력의 JSON 표현

또한 쿼리 결과 패널에서 미리보기한 각 쿼리의 소스 파일로 이동하여 BigQuery Studio로 이동하여 미리보기 작업을 볼 수 있습니다.

시작하기 전에

  1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

    Dataform 페이지로 이동

  2. 저장소를 선택하거나 만듭니다.

  3. 개발 작업공간을 선택하거나 만듭니다.

  4. SQL 쿼리를 만듭니다。 예를 들어 테이블을 정의합니다。

필요한 역할

쿼리를 미리 보는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

  • Dataform 편집기(roles/dataform.editor) - 작업공간
  • BigQuery 작업 사용자(roles/bigquery.jobUser) - 프로젝트

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

쿼리 미리보기

실행 전에 Dataform에서 쿼리 결과를 검사하려면 작업공간에서 쿼리 미리 보기를 실행합니다. 현재 수정된 파일에 여러 쿼리가 포함된 경우 미리 보려는 쿼리를 선택합니다. 한 번에 하나의 쿼리만 미리 볼 수 있습니다.

어설션이 있는 테이블의 경우 미리보기를 실행하는 것이 약간 다릅니다. 자세한 내용은 어설션이 있는 테이블 미리보기를 참조하세요.

Dataform 작업공간에서 SQL 쿼리를 미리 보고 쿼리 결과를 보려면 다음 단계를 따르세요.

  1. 파일 창에서 definitions/를 펼칩니다.
  2. SQLX 또는 JavaScript 파일을 선택합니다.
  3. 실행을 클릭합니다.
    1. 파일에 여러 쿼리가 포함된 경우 드롭다운에서 미리 보려는 쿼리를 선택합니다.
  4. 쿼리 결과 패널에서 미리보기 결과를 검사합니다.
    1. 작업 세부정보를 검사하려면 작업 정보 탭을 선택합니다.
    2. 쿼리 결과를 검사하려면 결과 탭을 선택합니다.
    3. 쿼리의 JSON 출력을 보려면 JSON 탭을 선택합니다.
    4. SQL 작업공간에서 미리보기 작업을 보려면 더보기 메뉴 > SQL 작업공간에서 작업 보기를 클릭합니다。

어설션이 있는 테이블 미리보기

어설션이 있는 SQLX 테이블 정의 파일에서 테이블 생성 쿼리와 정의된 어설션 쿼리를 미리 볼 수 있습니다.

Dataform은 테이블 정의 쿼리를 기본 쿼리로 취급합니다. 테이블 만들기 쿼리를 미리 보려면 작업공간에서 실행을 클릭합니다. 어설션 쿼리를 미리보기 하려면 실행 버튼 옆의 드롭다운에서 해당 쿼리를 선택해야 합니다。 한 번에 하나의 쿼리만 미리 볼 수 있습니다.

Dataform 작업공간에서 어설션이 있는 테이블 정의 파일의 쿼리를 미리 보려면 다음 단계를 따르세요.

  1. 파일 창에서 definitions/를 펼칩니다.
  2. 어설션이 있는 테이블의 정의 파일을 선택합니다.
  3. 미리보기 실행:
    • 테이블 만들기 쿼리를 미리보려면 실행을 클릭합니다.
    • 어설션 쿼리를 미리 보려면 실행 옆에 있는 드롭다운 아이콘을 클릭한 후 미리 보려는 쿼리를 선택합니다.
  4. 쿼리 결과 패널에서 미리보기 결과를 검사합니다.
    1. 작업 세부정보를 검사하려면 작업 정보 탭을 선택합니다.
    2. 쿼리 결과를 검사하려면 결과 탭을 선택합니다.
    3. 쿼리의 JSON 출력을 보려면 JSON 탭을 선택합니다.
    4. SQL 작업공간에서 미리보기 작업을 보려면 더보기 메뉴 > SQL 작업공간에서 작업 보기를 클릭합니다。

다음 단계