쿼리 예약

이 페이지에서는 BigQuery에서 반복 쿼리의 일정을 예약하는 방법을 설명합니다.

개요

쿼리가 반복적으로 실행되도록 일정을 예약할 수 있습니다. 예약된 쿼리는 표준 SQL로 작성되어야 하며 데이터 정의 언어(DDL)데이터 조작 언어(DML) 문을 포함할 수 있습니다. 쿼리 문자열과 대상 테이블을 매개변수화할 수 있으므로, 쿼리 결과를 날짜와 시간별로 정리할 수 있습니다.

시작하기 전에

예약된 쿼리를 만들기 전에 다음을 수행하세요.

  • 예약된 쿼리는 BigQuery Data Transfer Service의 기능을 사용합니다. BigQuery Data Transfer Service 사용 설정에 필요한 모든 작업을 완료했는지 확인합니다.
  • 다음과 같은 필수 권한이 있는지 확인합니다.
    • BigQuery: 예약된 전송을 만들기 위한 bigquery.transfers.update 권한. bigquery.admin 사전 정의된 프로젝트 수준 IAM 역할에는 bigquery.transfers.update 권한이 포함됩니다. BigQuery의 IAM 역할에 대한 자세한 내용은 액세스 제어를 참조하세요.
  • bigquery.cloud.google.com에서 브라우저의 팝업을 허용하여 권한 창을 볼 수 있도록 합니다. 예약된 쿼리를 관리하는 BigQuery Data Transfer Service 권한을 허용해야 합니다.

구성 옵션

쿼리 문자열

쿼리 문자열이 유효해야 하며 표준 SQL로 작성되어야 합니다. 예약된 쿼리를 실행하면 다음과 같은 쿼리 매개변수를 수신할 수 있습니다.

사용 가능한 매개변수

매개변수 표준 SQL 유형
@run_time TIMESTAMP UTC 시간으로 표현됩니다. 정기적인 예약된 쿼리의 경우 run_time은 의도한 실행 시간을 나타냅니다. 예를 들어 예약된 쿼리가 '24시간마다'로 설정된 경우, 실제 실행 시간은 약간 다를 수 있지만 두 연속 쿼리 간의 run_time 차이는 정확히 24시간입니다.
@run_date DATE 논리적 달력 날짜를 나타냅니다.

@run_time 매개변수는 이 예제에서 hacker_news.stories라는 공개 데이터세트를 쿼리하는 쿼리 문자열의 일부입니다.

SELECT @run_time AS time,
  title,
  author,
  text
FROM `bigquery-public-data.hacker_news.stories`
LIMIT
  1000

대상 테이블

예약된 쿼리를 설정할 때 결과의 대상 테이블이 존재하지 않으면 BigQuery가 테이블을 만듭니다. DDL 또는 DML 쿼리를 사용할 때는 대상 테이블을 비워두세요.

대상 테이블이 존재하는 경우에는 열을 스키마(ALLOW_FIELD_ADDITION)에 추가하거나, 혹은 열의 모드를 REQUIRED에서 NULLABLE(ALLOW_FIELD_RELAXATION)로 완화한다면 쿼리 결과에 따라 대상 테이블의 스키마가 업데이트될 수도 있습니다. 그 밖의 모든 경우에는 실행 간에 테이블 스키마가 변경되면 예약된 쿼리가 실패합니다.

쿼리는 다른 프로젝트 및 다른 데이터세트의 테이블을 참조할 수 있습니다. 예약된 쿼리를 구성할 때는 대상 데이터세트를 테이블 이름에 추가할 필요 없습니다. 대상 데이터세트는 별도로 지정합니다.

쓰기 환경설정

선택한 쓰기 환경설정에 따라 쿼리 결과가 기존 대상 테이블에 기록되는 방법이 결정됩니다. DDL 또는 DML 쿼리를 사용하는 경우에는 쓰기 환경설정을 비워두세요.

  • WRITE_TRUNCATE: 테이블이 이미 존재하면 BigQuery가 테이블 데이터를 덮어씁니다.
  • WRITE_APPEND: 테이블이 이미 존재하면 BigQuery가 데이터를 테이블에 추가합니다.

대상 테이블 만들기, 잘라내기 또는 추가는 BigQuery가 쿼리를 성공적으로 완료할 수 있는 경우에만 발생합니다. 만들기, 잘라내기 또는 추가 작업은 작업 완료 시 하나의 원자적 업데이트로 발생합니다.

파티션 나누기 옵션

예약된 쿼리는 파티션을 나눈 또는 파티션을 나누지 않은 대상 테이블을 만들 수 있습니다. DDL 또는 DML 쿼리를 사용하는 경우에는 파티션 나누기 필드를 비워두세요. BigQuery에는 2가지 유형의 테이블 파티션 나누기가 있습니다.

  • 수집 시간으로 파티션을 나눈 테이블: 예약된 쿼리의 실행 시간을 기준으로 파티션을 나눈 테이블입니다.
  • 파티션을 나눈 테이블: TIMESTAMP 또는 DATE 열을 기준으로 파티션을 나눈 테이블입니다.

열을 기준으로 대상 테이블의 파티션이 나뉘는 경우 예약된 쿼리 설정 시 열 이름을 지정합니다. 내부 데이터화-시간으로 파티션을 나눈 테이블과 파티션을 나누지 않은 테이블의 경우 파티션 나누기 필드를 비워두세요.

파티션을 나눈 테이블에 대해 자세히 알아보려면 파티션을 나눈 테이블 소개를 참조하세요.

파티션 나누기 예

사용 가능한 매개변수

예약된 쿼리를 설정할 때 런타임 매개변수를 사용하여 대상 테이블의 파티션을 나누는 방법을 지정할 수 있습니다.

매개변수 템플릿 유형
run_time 형식이 지정된 타임스탬프 일정에 따라 UTC 시간으로 표시됩니다. 정기적인 예약된 쿼리의 경우 run_time은 의도한 실행 시간을 나타냅니다. 예를 들어 예약된 쿼리가 '24시간마다'로 설정된 경우, 실제 실행 시간은 약간 다를 수 있지만 두 연속 쿼리 간의 run_time 차이는 정확히 24시간입니다.

TransferRun.runTime을 참조하세요.
run_date 날짜 문자열 %Y%m%d 형식(예: 20180101)의 run_time 매개변수 날짜입니다. 이 형식은 내부 데이터화 시간으로 파티션을 나눈 테이블에서 사용할 수 있습니다.

템플릿 시스템

예약된 쿼리는 템플릿 구문을 사용하여 대상 테이블 이름에서 런타임 매개변수를 지원합니다.

매개변수 템플릿 구문

템플릿 구문은 기본 문자열 템플릿과 시간 오프셋을 지원합니다. 매개변수는 다음 형식으로 참조됩니다.

  • {run_date}
  • {run_time[+\-offset]|"time_format"}

매개변수 목적
run_date 이 매개변수는 YYYYMMDD 형식의 날짜로 대체됩니다.
run_time 이 매개변수는 다음 속성을 지원합니다.


offset
시간(h), 분(m), 초(s)의 순서로 표시되는 시간 오프셋입니다.
일(d)은 지원되지 않습니다.
소수가 허용됩니다(예: 1.5h).

time_format
형식이 지정된 문자열. 가장 일반적인 형식 지정 매개변수는 년(%Y), 월(%m), 일(%d)입니다.
파티션을 나눈 테이블에서는 YYYYMMDD가 필수 서픽스입니다. 이는 '%Y%m%d'와 같습니다.

datetime 요소 형식 지정에 대해 자세히 알아보세요.

사용 참고사항:

  • run_time, offset, time 형식 사이에 공백이 없어야 합니다.
  • 문자열에 리터럴 중괄호를 포함하려면 ‘\{‘ and ‘\}’로 이스케이프 처리합니다.
  • “YYYY|MM|DD”와 같은 time_format에 리터럴 따옴표 또는 세로 막대를 포함하려면 형식 문자열에서 ‘\”’ 또는 ‘\|’로 이스케이프 처리합니다.

매개변수 템플릿 예

다음 예는 다양한 시간 형식을 사용하여 대상 테이블 이름을 지정하고 실행 시간을 오프셋하는 방법을 보여줍니다.
run_time(UTC) 템플릿 매개변수 출력 대상 테이블 이름
2018-02-15 00:00:00 mytable mytable
2018-02-15 00:00:00 mytable_{run_time|"%Y%m%d"} mytable_20180215
2018-02-15 00:00:00 mytable_+25h{run_time|"%Y%m%d"} mytable_20180216
2018-02-15 00:00:00 mytable_-1h{run_time|"%Y%m%d"} mytable_20180214
2018-02-15 00:00:00 mytable_+1.5h{run_time|"%Y%m%d;%H"}
또는
mytable_+90m{run_time|"%Y%m%d;%H"}
mytable_2018021501
2018-02-15 00:00:00 {run_time+97s|"%Y%m%d"}_mytable_{run_time|"%H%M%s"} 20180215_mytable_000137

예약된 쿼리 설정

콘솔

  1. GCP Console에서 BigQuery 웹 UI를 엽니다.

    BigQuery 웹 UI로 이동

  2. 원하는 쿼리를 실행합니다. 결과에 만족하면 쿼리 예약새로 예약된 쿼리 만들기를 클릭합니다.

    쿼리 UI에서 쿼리 예약

  3. 새로 예약된 쿼리 창에 예약된 쿼리 옵션이 열립니다.

  4. 새로 예약된 쿼리 창에서 다음을 수행합니다.

    • 예약된 쿼리 이름으로 My scheduled query와 같은 이름을 입력합니다. 예약된 쿼리 이름은 나중에 수정해야 할 경우를 위해 예약된 쿼리를 쉽게 식별할 수 있는 값이면 됩니다.
    • (선택사항) 일정 옵션의 경우 기본값인 매일(만든 시간을 기준으로 24시간마다)을 그대로 두거나 시작 시간 예약을 클릭하여 시간을 변경합니다. 간격을 매주, 매월, 커스텀으로 변경할 수도 있습니다. 커스텀을 선택할 경우 크론과 유사한 시간 지정이 필요합니다(예: every 3 hours). 사용 가능한 최단 기간은 15분입니다. 그 밖의 유효한 API 값은 TransferConfig 아래의 schedule 필드를 참조하세요.
    • 데이터세트 이름에서 적절한 대상 데이터세트를 선택합니다.
    • 대상 테이블:
      • 표준 SQL 쿼리의 경우 대상 테이블의 이름을 입력합니다.
      • DDL 또는 DML 쿼리의 경우 이 필드를 비워둡니다.
    • 대상 테이블 쓰기 환경설정의 경우 WRITE_TRUNCATE를 선택하여 대상 테이블을 덮어쓰거나 WRITE_APPEND를 선택하여 데이터를 테이블에 추가합니다. DDL 또는 DML 쿼리에는 이 옵션을 사용할 수 없습니다.
    • (선택사항) 전송 실행 실패 시 이메일 알림을 허용하려면 이메일 알림 전송을 선택합니다.

      새로 예약된 쿼리

  5. 일정을 클릭합니다.

기본 UI

  1. BigQuery 웹 UI로 이동합니다.

    BigQuery 웹 UI로 이동

  2. 원하는 쿼리를 실행합니다. 결과에 만족하면 쿼리 예약을 클릭합니다.

    쿼리 UI에서 쿼리 예약

  3. 쿼리 상자 아래에 예약된 쿼리 옵션이 열립니다.

  4. 새 예약된 쿼리 페이지에서:

    • 대상 데이터세트로 적절한 데이터세트를 선택합니다.
    • 표시 이름으로 예약된 쿼리의 이름(예: My scheduled query)을 입력합니다. 예약된 쿼리 이름은 나중에 수정해야 할 경우를 위해 예약된 쿼리를 쉽게 식별할 수 있는 값이면 됩니다.
    • 대상 테이블:
      • 표준 SQL 쿼리의 경우 대상 테이블의 이름을 입력합니다.
      • DDL 또는 DML 쿼리의 경우 이 필드를 비워둡니다.
    • 쓰기 환경설정:
      • 표준 SQL 쿼리의 경우 대상 테이블을 덮어쓰려면 WRITE_TRUNCATE를, 혹은 데이터를 테이블에 추가하려면 WRITE_APPEND를 선택합니다.
      • DDL 또는 DML 쿼리의 경우 미지정을 선택합니다.
    • (선택사항) 파티션 나누기 필드:

    • (선택사항) 일정의 경우 기본값인 매일(만든 시간을 기준으로 24시간마다)을 그대로 두거나 수정을 클릭하여 시간을 변경합니다. 간격을 매주, 매월, 커스텀으로 변경할 수도 있습니다. 커스텀을 선택할 경우 크론과 유사한 시간 지정이 필요합니다(예: every 3 hours). 사용 가능한 최단 기간은 15분입니다. 그 밖의 유효한 API 값은 TransferConfig 아래의 schedule 필드를 참조하세요.

      쿼리 일정

    • (선택사항) 고급 섹션을 펼쳐서 전송의 실행 알림을 구성합니다. 전송 실행 알림은 현재 알파 버전입니다.

      • Cloud Pub/Sub 주제에 Cloud Pub/Sub 주제 이름을 입력합니다(예: projects/myproject/topics/mytopic).
      • 전송 실행 실패 시 이메일 알림을 허용하려면 이메일 알림 전송을 선택합니다.

        Cloud Pub/Sub 주제

  5. 추가를 클릭합니다.

과거 날짜에 수동 실행 설정

쿼리가 나중에 실행되도록 예약할 수 있을 뿐만 아니라, 지정한 날짜 범위의 과거 데이터에 대해 실행되도록 설정할 수 있습니다. 지정한 날짜 범위 내에서, 예약된 쿼리를 만들 때 지정한 것과 동일한 시간에 쿼리가 실행됩니다.

예약된 쿼리 설정을 완료한 후 이 쿼리를 과거의 날짜 범위 내에서 실행할 수 있습니다.

콘솔

일정을 클릭하여 예약된 쿼리를 저장하면 예약된 쿼리 버튼을 클릭하여 현재 예약된 쿼리 목록을 확인할 수 있습니다. 해당 쿼리의 일정에 대한 세부정보를 보려면 표시 이름을 클릭합니다. 페이지 상단에서 백필 예약 버튼을 클릭하여 과거의 날짜 범위를 지정합니다.

백필 예약 버튼

날짜 범위를 더 상세하게 하여 시작 시간과 종료 시간을 지정하거나 시간 필드를 00:00:00으로 둘 수도 있습니다.

과거의 날짜 설정

예 1

예약된 쿼리가 every day 14:00에 실행되도록 설정된 경우에 다음과 같은 과거의 날짜 범위를 적용합니다.

Start Time = 2/21/2018 00:00:00 AM
End Time = 2/24/2018 00:00:00 AM

쿼리가 다음 시간에 실행됩니다.

  • 2/21/2018 14:00:00
  • 2/22/2018 14:00:00
  • 2/23/2018 14:00:00

예 2

예약된 쿼리가 every fri at 01:05에 실행되도록 설정된 경우에 다음과 같은 과거의 날짜 범위를 적용합니다.

Start Time = 2/1/2018 00:00:00(목요일)
End Time = 2/24/2018 00:00:00 AM(이 경우도 목요일)

쿼리가 다음 시간에 실행됩니다.

  • 2/2/2018 01:05:00
  • 2/9/2018 01:05:00

기본 UI

추가를 클릭하여 예약된 쿼리를 저장하면 예약된 쿼리의 세부정보가 표시됩니다. 세부정보 아래에서 수동 실행 시작 버튼을 클릭하여 과거의 데이터 범위를 지정합니다.

수동 실행 시작 버튼

날짜 범위를 더 상세하게 하여 시작 시간과 종료 시간을 지정하거나 시간 필드를 00:00:00으로 둘 수도 있습니다.

과거의 날짜 설정

예 1

예약된 쿼리가 every day 14:00에 실행되도록 설정된 경우에 다음과 같은 과거의 날짜 범위를 적용합니다.

Start Time = 2/21/2018 00:00:00 AM
End Time = 2/24/2018 00:00:00 AM

쿼리가 다음 시간에 실행됩니다.

  • 2/21/2018 14:00:00
  • 2/22/2018 14:00:00
  • 2/23/2018 14:00:00

예 2

예약된 쿼리가 every fri at 01:05에 실행되도록 설정된 경우에 다음과 같은 과거의 날짜 범위를 적용합니다.

Start Time = 2/1/2018 00:00:00(목요일)
End Time = 2/24/2018 00:00:00 AM(이 경우도 목요일)

쿼리가 다음 시간에 실행됩니다.

  • 2/2/2018 01:05:00
  • 2/9/2018 01:05:00

할당량

사용자가 쿼리를 직접 실행하는 것처럼, 예약된 쿼리가 작성자의 사용자 인증 정보 및 프로젝트를 사용하여 실행됩니다. 예약된 쿼리에는 쿼리 작업의 모든 BigQuery 할당량 및 한도가 적용됩니다.

알려진 문제 및 제한사항

지역

지역 간의 쿼리는 지원되지 않으며, 예약 쿼리의 대상 테이블은 쿼리되는 데이터와 동일한 영역에 있어야 합니다. 지역과 다중 지역에 대한 자세한 내용은 데이터세트 위치를 참조하세요.

Google 드라이브

예약된 쿼리에서 Google 드라이브 데이터를 쿼리할 수 있습니다. 기존 쿼리를 예약하려면 예약된 쿼리 세부정보 화면에서 '사용자 인증 정보 업데이트'를 클릭해야 할 수 있습니다. 변경사항이 적용되려면 10-20분 기다려야 합니다. 브라우저의 캐시를 지워야 할 수도 있습니다. 새로 예약된 쿼리에서는 사용자 인증 정보가 자동으로 최신 상태로 업데이트됩니다.

사용자 인증 정보 업데이트

이 페이지가 도움이 되었나요? 평가를 부탁드립니다.

다음에 대한 의견 보내기...

도움이 필요하시나요? 지원 페이지를 방문하세요.