쿼리 예약

이 페이지에서는 BigQuery에서 반복 쿼리의 일정을 예약하는 방법을 설명합니다.

개요

쿼리가 반복적으로 실행되도록 일정을 예약할 수 있습니다. 예약된 쿼리는 표준 SQL로 작성되어야 하며 데이터 정의 언어(DDL)DML 문을 포함할 수 있습니다. 쿼리 문자열과 대상 테이블을 매개변수화할 수 있으므로, 쿼리 결과를 날짜와 시간별로 정리할 수 있습니다.

시작하기 전에

예약된 쿼리를 만들기 전에 다음을 수행하세요.

  • 예약된 쿼리는 BigQuery Data Transfer Service의 기능을 사용합니다. BigQuery Data Transfer Service 사용 설정에 필요한 모든 작업을 완료했는지 확인합니다.

  • 기본 BigQuery 웹 UI를 사용하여 예약된 쿼리를 만들려면 권한 창을 볼 수 있도록 bigquery.cloud.google.com에서 브라우저 팝업을 허용합니다. 예약된 쿼리를 관리하는 BigQuery Data Transfer Service 권한을 허용해야 합니다.

필수 권한

쿼리를 예약하기 전에 다음 안내를 따르세요.

  • 전송을 만드는 사람에게 다음과 같은 BigQuery 필수 권한이 있는지 확인합니다.

    • 전송을 만들 수 있는 bigquery.transfers.update 권한
    • 대상 데이터세트의 bigquery.datasets.update 권한

    사전 정의된 프로젝트 수준 IAM 역할인 bigquery.admin에는 bigquery.transfers.updatebigquery.datasets.update 권한이 포함되어 있습니다. BigQuery의 IAM 역할에 대한 자세한 내용은 액세스 제어를 참조하세요.

구성 옵션

쿼리 문자열

쿼리 문자열은 유효해야 하며 표준 SQL로 작성되어야 합니다. 예약된 쿼리가 실행될 때마다 다음과 같은 쿼리 매개변수를 수신할 수 있습니다.

사용 가능한 매개변수

매개변수 표준 SQL 유형
@run_time TIMESTAMP UTC 시간으로 표현됩니다. 정기적인 예약된 쿼리의 경우 run_time은 의도한 실행 시간을 나타냅니다. 예를 들어 예약된 쿼리가 '24시간마다'로 설정된 경우, 실제 실행 시간은 약간 다를 수 있지만 두 연속 쿼리 간의 run_time 차이는 정확히 24시간입니다.
@run_date DATE 논리적 달력 날짜를 나타냅니다.

이 예에서 @run_time 매개변수는 hacker_news.stories라는 공개 데이터세트를 쿼리하는 쿼리 문자열의 일부입니다.

SELECT @run_time AS time,
  title,
  author,
  text
FROM `bigquery-public-data.hacker_news.stories`
LIMIT
  1000

대상 테이블

예약된 쿼리를 설정할 때 결과의 대상 테이블이 존재하지 않으면 BigQuery가 테이블을 만듭니다. DDL 또는 DML 쿼리를 사용할 때는 대상 테이블을 비워두세요.

대상 테이블이 있는 경우에는 열을 스키마(ALLOW_FIELD_ADDITION)에 추가하거나 열의 모드를 REQUIRED에서 NULLABLE(ALLOW_FIELD_RELAXATION)로 완화하면 쿼리 결과에 따라 대상 테이블의 스키마가 업데이트될 수 있습니다. 그 밖의 모든 경우에는 실행 간에 테이블 스키마가 변경되면 예약된 쿼리가 실패합니다.

쿼리는 다른 프로젝트 및 다른 데이터세트의 테이블을 참조할 수 있습니다. 예약된 쿼리를 구성할 때는 대상 데이터세트를 테이블 이름에 추가할 필요 없습니다. 대상 데이터세트는 별도로 지정합니다.

쓰기 환경설정

선택한 쓰기 환경설정에 따라 쿼리 결과가 기존 대상 테이블에 기록되는 방법이 결정됩니다. DDL 또는 DML 쿼리를 사용하는 경우에는 쓰기 환경설정을 비워두세요.

  • WRITE_TRUNCATE: 테이블이 이미 존재하면 BigQuery가 테이블 데이터를 덮어씁니다.
  • WRITE_APPEND: 테이블이 이미 존재하면 BigQuery가 데이터를 테이블에 추가합니다.

대상 테이블 만들기, 잘라내기 또는 추가는 BigQuery가 쿼리를 성공적으로 완료할 수 있는 경우에만 발생합니다. 만들기, 잘라내기 또는 추가 작업은 작업 완료 시 하나의 원자적 업데이트로 발생합니다.

파티션 나누기 옵션

예약된 쿼리는 파티션을 나눈 또는 파티션을 나누지 않은 대상 테이블을 만들 수 있습니다. DDL 또는 DML 쿼리를 사용하는 경우에는 파티션 나누기 필드를 비워두세요. BigQuery에는 2가지 유형의 테이블 파티션 나누기가 있습니다.

  • 수집 시간으로 파티션을 나눈 테이블: 예약된 쿼리의 실행 시간을 기준으로 파티션을 나눈 테이블입니다.
  • 파티션을 나눈 테이블: TIMESTAMP 또는 DATE 열을 기준으로 파티션을 나눈 테이블입니다.

열을 기준으로 대상 테이블의 파티션을 나누는 경우 예약된 쿼리 설정 시 열 이름을 지정합니다. 내부 데이터화-시간으로 파티션을 나눈 테이블과 파티션을 나누지 않은 테이블의 경우 파티션 나누기 필드를 비워두세요.

파티션을 나눈 테이블에 대해 자세히 알아보려면 파티션을 나눈 테이블 소개를 참조하세요.

파티션 나누기 예

사용 가능한 매개변수

예약된 쿼리를 설정할 때 런타임 매개변수를 사용하여 대상 테이블의 파티션을 나누는 방법을 지정할 수 있습니다.

매개변수 템플릿 유형
run_time 형식이 지정된 타임스탬프 일정에 따라 UTC 시간으로 표시됩니다. 정기적인 예약된 쿼리의 경우 run_time은 의도한 실행 시간을 나타냅니다. 예를 들어 예약된 쿼리가 '24시간마다'로 설정된 경우, 실제 실행 시간은 약간 다를 수 있지만 두 연속 쿼리 간의 run_time 차이는 정확히 24시간입니다.

TransferRun.runTime을 참조하세요.
run_date 날짜 문자열 %Y%m%d 형식(예: 20180101)의 run_time 매개변수 날짜입니다. 이 형식은 내부 데이터화 시간으로 파티션을 나눈 테이블에서 사용할 수 있습니다.

템플릿 시스템

예약된 쿼리는 템플릿 구문을 사용하여 대상 테이블 이름에서 런타임 매개변수를 지원합니다.

매개변수 템플릿 구문

템플릿 구문은 기본 문자열 템플릿과 시간 오프셋을 지원합니다. 매개변수는 다음 형식으로 참조됩니다.

  • {run_date}
  • {run_time[+\-offset]|"time_format"}
매개변수 목적
run_date 이 매개변수는 YYYYMMDD 형식의 날짜로 대체됩니다.
run_time 이 매개변수는 다음 속성을 지원합니다.


offset
시간(h), 분(m), 초(s)의 순서로 표시되는 시간 오프셋입니다.
일(d)은 지원되지 않습니다.
소수가 허용됩니다(예: 1.5h).

time_format
형식이 지정된 문자열. 가장 일반적인 형식 지정 매개변수는 년(%Y), 월(%m), 일(%d)입니다.
파티션을 나눈 테이블에서는 YYYYMMDD가 필수 서픽스입니다. 이는 '%Y%m%d'와 같습니다.

datetime 요소 형식 지정에 대해 자세히 알아보세요.

사용 참고사항:
  • run_time, offset, time 형식 사이에 공백이 없어야 합니다.
  • 문자열에 리터럴 중괄호를 포함하려면 ‘\{‘ and ‘\}’로 이스케이프 처리합니다.
  • “YYYY|MM|DD”와 같은 time_format에 리터럴 따옴표 또는 세로 막대를 포함하려면 형식 문자열에서 ‘\”’ 또는 ‘\|’로 이스케이프 처리합니다.

매개변수 템플릿 예

다음 예는 다양한 시간 형식을 사용하여 대상 테이블 이름을 지정하고 실행 시간을 오프셋하는 방법을 보여줍니다.
run_time(UTC) 템플릿 매개변수 출력 대상 테이블 이름
2018-02-15 00:00:00 mytable mytable
2018-02-15 00:00:00 mytable_{run_time|"%Y%m%d"} mytable_20180215
2018-02-15 00:00:00 mytable_+25h{run_time|"%Y%m%d"} mytable_20180216
2018-02-15 00:00:00 mytable_-1h{run_time|"%Y%m%d"} mytable_20180214
2018-02-15 00:00:00 mytable_+1.5h{run_time|"%Y%m%d;%H"}
또는
mytable_+90m{run_time|"%Y%m%d;%H"}
mytable_2018021501
2018-02-15 00:00:00 {run_time+97s|"%Y%m%d"}_mytable_{run_time|"%H%M%s"} 20180215_mytable_000137

예약된 쿼리 설정

콘솔

  1. GCP Console에서 BigQuery 웹 UI를 엽니다.

    BigQuery 웹 UI로 이동

  2. 원하는 쿼리를 실행합니다. 결과에 만족하면 쿼리 예약새로 예약된 쿼리 만들기를 클릭합니다.

    BigQuery 웹 UI에서 쿼리 예약

  3. 새로 예약된 쿼리 창에 예약된 쿼리 옵션이 열립니다.

  4. 새로 예약된 쿼리 창에서 다음을 수행합니다.

    • 예약된 쿼리 이름에 이름(예: My scheduled query)을 입력합니다. 예약된 쿼리 이름은 나중에 수정해야 할 경우를 위해 예약된 쿼리를 쉽게 식별할 수 있는 값이면 됩니다.
    • (선택사항) 일정 옵션의 경우 기본값인 매일(만든 시간을 기준으로 24시간마다)을 그대로 두거나 시작 시간 예약을 클릭하여 시간을 변경합니다. 간격을 매주, 매월, 커스텀으로 변경할 수도 있습니다. 커스텀을 선택할 경우 크론과 유사한 시간 지정이 필요합니다(예: every 3 hours). 사용 가능한 최단 기간은 15분입니다. 그 밖의 유효한 API 값은 TransferConfigschedule 필드를 참조하세요.
    • 데이터세트 이름에서 적절한 대상 데이터세트를 선택합니다.
    • 대상 테이블:
      • 표준 SQL 쿼리의 경우 대상 테이블의 이름을 입력합니다.
      • DDL 또는 DML 쿼리의 경우 이 필드를 비워둡니다.
    • 대상 테이블 쓰기 환경설정에서 대상 테이블을 덮어쓰려면 WRITE_TRUNCATE를 선택하고 데이터를 테이블에 추가하려면 WRITE_APPEND를 선택합니다. DDL 또는 DML 쿼리에는 이 옵션을 사용할 수 없습니다.
    • (선택사항) 전송 실행 실패 시 이메일 알림을 허용하려면 이메일 알림 전송을 선택합니다.

      새로 예약된 쿼리

  5. 일정을 클릭합니다.

  6. 예약된 쿼리의 상태를 보려면 탐색창에서 예약된 쿼리를 클릭합니다. 예약된 쿼리의 업데이트된 상태를 확인하려면 페이지를 새로 고칩니다. 각각의 예약된 쿼리를 클릭하면 자세한 내용을 확인할 수 있습니다.

    예약된 쿼리 나열

기본 UI

  1. BigQuery 웹 UI로 이동합니다.

    BigQuery 웹 UI로 이동

  2. 원하는 쿼리를 실행합니다. 결과에 만족하면 쿼리 예약을 클릭합니다.

    기본 BigQuery 웹 UI에서 쿼리 예약

  3. 쿼리 상자 아래에 예약된 쿼리 옵션이 열립니다.

  4. 새 예약된 쿼리 페이지에서:

    • 대상 데이터세트로 적절한 데이터세트를 선택합니다.
    • 표시 이름에 예약된 쿼리의 이름(예: My scheduled query)을 입력합니다. 예약된 쿼리 이름은 나중에 수정해야 할 경우를 위해 예약된 쿼리를 쉽게 식별할 수 있는 값이면 됩니다.
    • 대상 테이블:
      • 표준 SQL 쿼리의 경우 대상 테이블의 이름을 입력합니다.
      • DDL 또는 DML 쿼리의 경우 이 필드를 비워둡니다.
    • 쓰기 환경설정:
      • 표준 SQL 쿼리의 경우 대상 테이블을 덮어쓰려면 WRITE_TRUNCATE를, 혹은 데이터를 테이블에 추가하려면 WRITE_APPEND를 선택합니다.
      • DDL 또는 DML 쿼리의 경우 미지정을 선택합니다.
    • (선택사항) 파티션 나누기 필드:

    • (선택사항) 일정의 경우 기본값인 매일(만든 시간을 기준으로 24시간마다)을 그대로 두거나 수정을 클릭하여 시간을 변경합니다. 간격을 매주, 매월, 커스텀으로 변경할 수도 있습니다. 커스텀을 선택할 경우 크론과 유사한 시간 지정이 필요합니다(예: every 3 hours). 사용 가능한 최단 기간은 15분입니다. 그 밖의 유효한 API 값은 TransferConfigschedule 필드를 참조하세요.

      쿼리 일정

    • (선택사항) 고급 섹션을 펼쳐서 전송 실행 알림을 구성합니다. 전송 실행 알림은 현재 알파 버전입니다.

      • Cloud Pub/Sub 주제에 Cloud Pub/Sub 주제 이름(예: projects/myproject/topics/mytopic)을 입력합니다.
      • 전송 실행 실패 시 이메일 알림을 허용하려면 이메일 알림 전송을 선택합니다.

        Cloud Pub/Sub 주제

  5. 추가를 클릭합니다.

  6. 예약된 쿼리 상태를 확인하려면 탐색창에서 예약된 쿼리를 클릭합니다. 예약된 쿼리의 업데이트된 상태를 확인하려면 페이지를 새로 고칩니다. 각각의 예약된 쿼리를 클릭하면 자세한 내용을 확인할 수 있습니다.

    예약된 쿼리 나열

과거 날짜에 수동 실행 설정

나중에 쿼리를 실행하도록 예약하는 것 외에도 직접 실행을 수동으로 트리거할 수도 있습니다. 쿼리가 run_date 매개변수를 사용하고 이전 실행 중에 문제가 발생한 경우 즉시 실행을 트리거해야 합니다.

예를 들어 매일 09:00에 소스 테이블에서 현재 날짜와 일치하는 행을 쿼리합니다. 그러나 지난 3일 동안 소스 테이블에 데이터가 추가되지 않았다는 것을 알게 됩니다. 이 경우 지정된 기간 내 이전 데이터를 대상으로 쿼리를 실행하도록 설정할 수 있습니다. 쿼리는 예약된 쿼리에서 구성한 날짜에 해당하는 run_daterun-time 조합을 사용하여 실행됩니다.

예약된 쿼리를 설정한 후 이전 기간을 사용하여 쿼리를 실행하는 방법은 다음과 같습니다.

콘솔

일정을 클릭하여 예약된 쿼리를 저장하면 예약된 쿼리 버튼을 클릭하여 현재 예약된 쿼리 목록을 확인할 수 있습니다. 해당 쿼리의 일정에 대한 세부정보를 보려면 표시 이름을 클릭합니다. 페이지 오른쪽 상단에서 백필 예약을 클릭하여 이전 기간을 지정합니다.

백필 예약 버튼

선택한 실행 시간은 모두 선택한 범위 내에 있으며, 처음 날짜는 포함되지만 마지막 날짜는 제외됩니다.

과거의 날짜 설정

예 1

예약된 쿼리가 태평양 표준시를 기준으로 every day 09:00에 실행되도록 설정됩니다. 1월 1일, 1월 2일, 1월 3일의 데이터가 누락되었습니다. 다음과 같은 이전 기간을 선택하세요.

Start Time = 1/1/19
End Time = 1/4/19

쿼리가 다음 시간에 해당하는 run_daterun_time 매개변수를 사용하여 실행됩니다.

  • 태평양 표준시 기준 19/1/1 09:00
  • 태평양 표준시 기준 19/1/2 09:00
  • 태평양 표준시 기준 19/1/3 09:00

예 2

예약된 쿼리가 태평양 표준시를 기준으로 every day 23:00에 실행되도록 설정됩니다. 1월 1일, 1월 2일, 1월 3일의 데이터가 누락되었습니다. 다음과 같은 이전 기간을 선택하세요(태평양 표준시 23:00은 UTC와 날짜가 다르므로 이후 날짜가 선택됨).

Start Time = 1/2/19
End Time = 1/5/19

쿼리가 다음 시간에 해당하는 run_daterun_time 매개변수를 사용하여 실행됩니다.

  • UTC 기준 19/1/2 09:00 또는 태평양 표준시 기준 2019/1/1 23:00
  • UTC 기준 19/1/3 09:00 또는 태평양 표준시 기준 2019/1/2 23:00
  • UTC 기준 19/1/4 09:00 또는 태평양 표준시 기준 2019/1/3 23:00

수동 실행을 설정한 후 페이지를 새로고침하면 실행 목록에 표시됩니다.

기본 UI

추가를 클릭하여 예약된 쿼리를 저장하면 예약된 쿼리의 세부정보가 표시됩니다. 세부정보 아래에서 수동 실행 시작 버튼을 클릭하여 과거의 데이터 범위를 지정합니다.

수동 실행 시작 버튼

날짜 범위를 더 상세하게 하여 시작 시간과 종료 시간을 지정하거나 시간 필드를 00:00:00으로 둘 수도 있습니다.

과거의 날짜 설정

예 1

예약된 쿼리가 every day 14:00에 실행되도록 설정된 경우에 다음과 같은 과거의 날짜 범위를 적용합니다.

Start Time = 2/21/2018 00:00:00 AM
End Time = 2/24/2018 00:00:00 AM

쿼리가 다음 시간에 실행됩니다.

  • 2/21/2018 14:00:00
  • 2/22/2018 14:00:00
  • 2/23/2018 14:00:00

예 2

예약된 쿼리가 every fri at 01:05에 실행되도록 설정된 경우에 다음과 같은 과거의 날짜 범위를 적용합니다.

Start Time = 2/1/2018 00:00:00(목요일)
End Time = 2/24/2018 00:00:00 AM(이 경우도 목요일)

쿼리가 다음 시간에 실행됩니다.

  • 2/2/2018 01:05:00
  • 2/9/2018 01:05:00

할당량

사용자가 쿼리를 직접 실행하는 것처럼, 예약된 쿼리가 작성자의 사용자 인증 정보 및 프로젝트를 사용하여 실행됩니다. 예약된 쿼리에는 쿼리 작업의 모든 BigQuery 할당량 및 한도가 적용됩니다.

알려진 문제 및 제한사항

지역

지역 간의 쿼리는 지원되지 않으며, 예약 쿼리의 대상 테이블은 쿼리되는 데이터와 동일한 영역에 있어야 합니다. 지역과 다중 지역에 대한 자세한 내용은 데이터세트 위치를 참조하세요.

Google 드라이브

예약된 쿼리에서 Google 드라이브 데이터를 쿼리할 수 있습니다. 기존 쿼리를 예약하려면 예약된 쿼리 세부정보 화면에서 '사용자 인증 정보 업데이트'를 클릭해야 할 수 있습니다. 변경사항이 적용되려면 10-20분 기다려야 합니다. 브라우저의 캐시를 지워야 할 수도 있습니다. 새로 예약된 쿼리에서는 사용자 인증 정보가 자동으로 최신 상태로 업데이트됩니다.

사용자 인증 정보 업데이트

이 페이지가 도움이 되었나요? 평가를 부탁드립니다.

다음에 대한 의견 보내기...

도움이 필요하시나요? 지원 페이지를 방문하세요.