데이터 준비 예약

이 문서에서는 데이터 준비 파이프라인을 예약하고 수동 실행을 실행하는 방법을 설명합니다.

데이터 준비는 Dataform을 기반으로 합니다. 각 데이터 준비 일정은 일정이나 테스트 실행을 구성할 때 선택하는 Google 계정 사용자 인증 정보 또는 Dataform 서비스 계정을 통해 실행됩니다.

데이터 준비 단계에 대한 변경사항은 자동으로 저장되지 않습니다. 변경사항을 일정으로 실행하려면 먼저 변경사항을 저장하고 배포해야 합니다. 일정은 항상 최신 배포 버전의 데이터 준비를 실행하며 개발 중인 배포되지 않은 변경사항은 제외합니다.

시작하기 전에

시작하기 전에 데이터 준비를 만드세요.

필요한 역할

개발에서 데이터 준비를 수동으로 실행하거나 데이터 준비를 예약할 때 서비스 계정으로 데이터 준비를 승인하려면 데이터 준비 실행을 실행하는 데 사용할 서비스 계정에 역할을 부여해야 합니다. 자세한 내용은 Dataform 서비스 계정에 대한 액세스 권한 부여를 참조하세요.

데이터 준비 개발

데이터 준비를 개발할 때 변경사항을 프로덕션에 배포하기 전에 단계를 수동으로 실행하고 출력을 검사할 수 있습니다. BigQuery는 일정에 따라 최신 배포된 버전을 계속 실행하는 동안 개발 중인 현재 버전을 데이터에서 테스트할 수 있습니다. 실행을 수행하려면 먼저 대상을 구성하고 유효성 검사 오류를 수정해야 합니다.

개발 중 데이터 준비 수동 실행

데이터 준비 단계를 테스트하고 대상 테이블의 결과를 검증하려면 데이터 준비 편집기에서 데이터 준비를 수동으로 실행합니다.

  1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 탐색기 창에서 프로젝트와 데이터 준비 폴더를 펼칩니다. 실행할 데이터 준비의 이름을 클릭합니다.

  3. 데이터 준비 편집기 툴바에서 더보기 > 지금 실행 환경 구성을 클릭합니다.

  4. 인증 섹션에서 Google 계정 사용자 인증 정보나 서비스 계정으로 데이터 준비를 승인합니다.

    • Google 계정 사용자 인증 정보(프리뷰)를 사용하려면 내 사용자 인증 정보로 실행을 선택합니다. 기본 옵션입니다.
    • 서비스 계정을 사용하려면 선택한 서비스 계정으로 실행을 선택한 후 서비스 계정을 선택합니다. 서비스 계정에 추가 권한이 필요하면 모두 허용을 클릭하여 필요한 역할을 부여합니다.

  5. 저장을 클릭합니다.

  6. 표시되는 검사 오류를 수정합니다.

  7. 데이터 준비 편집기 툴바에서 실행을 클릭합니다.

  8. 지금 실행 대화상자에서 확인을 클릭하여 이 수동 실행이 예약된 실행에도 사용할 수 있는 대상 테이블에 데이터를 쓴다는 사실을 확인합니다.

    인증 방법으로 내 사용자 인증 정보로 실행을 선택한 경우 Google 계정을 승인(프리뷰)해야 합니다.

    그러면 실행이 단계를 실행하고 출력을 대상에 로드합니다.

  9. 선택사항: 실행이 완료되면 실행 창에서 실행에 관한 세부정보를 볼 수 있습니다.

데이터 준비 배포

데이터 준비 버전의 실행을 예약하려면 먼저 해당 버전을 배포해야 합니다. 일정은 배포된 최신 버전을 실행합니다.

데이터 준비를 배포하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 탐색기 창에서 프로젝트와 데이터 준비 폴더를 펼칩니다. 선택한 데이터 준비의 이름을 클릭합니다.

    데이터 준비 편집기가 열립니다.

  3. 데이터 준비 편집기 툴바에서 배포를 클릭합니다.

일정 만들기

배포된 데이터 준비 단계를 실행하고 준비된 데이터를 대상 테이블에 로드하는 일정을 만들려면 먼저 데이터 준비 실행을 예약해야 합니다. 실행을 예약하려면 대상을 구성하고 유효성 검사 오류를 수정해야 합니다.

데이터 준비 일정을 만들려면 다음 단계를 수행합니다.

탐색기 창

  1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 탐색기 창에서 프로젝트와 데이터 준비 폴더를 펼칩니다. 예약할 데이터 준비의 이름을 클릭합니다.

  3. 데이터 준비 편집기 툴바에서 예약을 클릭합니다.

  4. 일정 이름을 입력합니다.

  5. 인증 섹션에서 Google 계정 사용자 인증 정보나 서비스 계정으로 데이터 준비를 승인합니다.

    • Google 계정 사용자 인증 정보(프리뷰)를 사용하려면 내 사용자 인증 정보로 실행을 선택합니다.
    • 서비스 계정을 사용하려면 선택한 서비스 계정으로 실행을 선택한 후 서비스 계정을 선택합니다.

  6. 빈도를 예약합니다.

  7. 일정 만들기를 클릭합니다. 인증 방법으로 내 사용자 인증 정보로 실행을 선택한 경우 Google 계정을 승인(프리뷰)해야 합니다.

예약 페이지

  1. Google Cloud 콘솔에서 예약 페이지로 이동합니다.

    예약으로 이동

  2. 만들기를 클릭한 후 메뉴에서 데이터 준비 일정을 선택합니다.

  3. 데이터 준비 예약 창의 데이터 준비 필드에서 예약할 데이터 준비를 선택합니다.

  4. 일정 이름 필드에 일정 이름을 입력합니다.

  5. 인증 섹션에서 Google 계정 사용자 인증 정보나 서비스 계정으로 데이터 준비를 승인합니다.

    • Google 계정 사용자 인증 정보(프리뷰)를 사용하려면 내 사용자 인증 정보로 실행을 선택합니다.
    • 서비스 계정을 사용하려면 선택한 서비스 계정으로 실행을 선택한 후 서비스 계정을 선택합니다.

  6. 일정 빈도 섹션에서 다음을 수행합니다.

    1. 반복 메뉴에서 데이터 준비 실행 빈도를 선택합니다.
    2. 시간 필드에 예약된 데이터 준비 실행 시간을 입력합니다.
    3. 시간대 메뉴에서 일정 시간대를 선택합니다.

  7. 일정 만들기를 클릭합니다. 인증 방법으로 내 사용자 인증 정보로 실행을 선택한 경우 Google 계정을 승인(프리뷰)해야 합니다.

Google 계정 승인하기

Google 계정 사용자 인증 정보로 리소스를 인증하려면 Google 계정의 액세스 토큰을 가져오고 사용자를 대신하여 소스 데이터에 액세스할 수 있는 권한을 BigQuery 파이프라인에 수동으로 부여해야 합니다. OAuth 대화상자 인터페이스를 사용하여 수동 승인을 부여할 수 있습니다.

BigQuery 파이프라인에 대한 권한을 한 번만 부여하면 됩니다.

부여한 권한을 취소하려면 다음 단계를 수행합니다.

  1. Google 계정 페이지로 이동합니다.
  2. BigQuery 파이프라인을 클릭합니다.
  3. 액세스 권한 삭제를 클릭합니다.

또한 새 Google 계정 소유자가 이전에 일정을 만든 적이 없으면 사용자 인증 정보를 업데이트하여 데이터 준비 일정 소유자를 변경하려면 수동 승인이 필요합니다.

예약된 데이터 준비 수동 실행

선택한 일정으로 데이터 준비를 수동으로 실행하면 BigQuery는 일정과 관계없이 데이터 준비를 한 번 실행합니다.

예약된 데이터 준비를 수동으로 실행하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 예약 페이지로 이동합니다.

    예약으로 이동

  2. 선택한 데이터 준비 일정의 이름을 클릭합니다.

  3. 일정 세부정보 페이지에서 실행을 클릭합니다.

일정 보기

데이터 준비 편집기 또는 예약 페이지에서 데이터 준비 일정을 확인할 수 있습니다.

데이터 준비 편집기

데이터 준비 일정을 보려면 다음 단계를 따르세요.

  1. 데이터 준비 편집기 툴바에서 schedule 일정 보기를 클릭합니다.
  2. 선택사항: 일정 기록을 보려면 이전 실행 보기를 클릭합니다.

예약 페이지

프로젝트의 모든 데이터 준비 일정을 보려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 예약 페이지로 이동합니다.

    예약으로 이동

  2. 선택사항: 선택한 일정의 실행 기록 및 세부정보를 보려면 일정의 이름을 클릭합니다. 수동 실행 기록은 표시되지 않습니다.

일정 수정

데이터 준비 편집기 또는 예약 페이지에서 일정을 수정할 수 있습니다.

데이터 준비 편집기

일정을 수정하려면 다음 단계를 따르세요.

  1. 데이터 준비 편집기 툴바에서 schedule 일정 보기를 클릭합니다.
  2. 데이터 준비 예약 대화상자에서 수정을 클릭한 다음 일정을 업데이트합니다.
  3. 일정 업데이트를 클릭합니다.

예약 페이지

일정을 수정하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 예약 페이지로 이동합니다.

    예약으로 이동

  2. 선택한 데이터 준비 일정의 이름을 클릭합니다.

  3. 일정 세부정보 페이지에서 수정을 클릭합니다.

  4. 일정 보기를 클릭합니다.

  5. 데이터 준비 예약 대화상자에서 수정을 클릭한 다음 일정을 업데이트합니다.

  6. 일정 업데이트를 클릭합니다.

일정 삭제

선택한 데이터 준비의 일정을 영구적으로 삭제하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 예약 페이지로 이동합니다.

    예약으로 이동

  2. 일정이 포함된 행에서 more_vert 작업 > 삭제를 클릭합니다.

다음 단계