STREAMING_TIMELINE 뷰
INFORMATION_SCHEMA.STREAMING_TIMELINE
뷰에는 현재 프로젝트에 대한 분당 집계된 스트리밍 통계가 포함됩니다.
사용자는 INFORMATION_SCHEMA
스트리밍 뷰를 쿼리하여 기존 tabledata.insertAll
메서드를 사용하고 BigQuery Storage Write API를 사용하지 않는 BigQuery로 스트리밍 데이터에 대한 이전 및 실시간 정보를 불러올 수 있습니다. BigQuery로 데이터를 스트리밍하는 방법에 대한 자세한 내용은 BigQuery로 데이터 스트리밍을 참조하세요.
필요한 권한
INFORMATION_SCHEMA.STREAMING_TIMELINE
뷰를 쿼리하려면 프로젝트에 대한 bigquery.tables.list
Identity and Access Management(IAM) 권한이 필요합니다.
사전 정의된 다음 IAM 역할에는 각각 필수 권한이 포함되어 있습니다.
roles/bigquery.user
roles/bigquery.dataViewer
roles/bigquery.dataEditor
roles/bigquery.dataOwner
roles/bigquery.metadataViewer
roles/bigquery.resourceAdmin
roles/bigquery.admin
BigQuery 권한에 대한 자세한 내용은 IAM으로 액세스 제어를 참조하세요.
스키마
INFORMATION_SCHEMA
스트리밍 뷰를 쿼리하면 BigQuery로 데이터 스트리밍에 대한 이전 및 실시간 정보가 쿼리 결과에 포함됩니다. 다음 뷰의 각 행은 start_timestamp
에서 시작하는 1분 간격 동안 집계된 특정 테이블로의 스트리밍에 대한 통계를 나타냅니다. 통계는 오류 코드를 기준으로 그룹화되므로 각 타임스탬프 및 테이블 조합에 대해 1분 간격 동안 발생한 각 오류 코드마다 하나의 행이 있습니다. 요청이 성공하면 오류 코드가 NULL
로 설정됩니다. 특정 기간 동안 테이블로 스트리밍되는 데이터가 없으면 해당 테이블에는 해당 타임스탬프에 대한 행이 나타나지 않습니다.
INFORMATION_SCHEMA.STREAMING_TIMELINE_BY_*
뷰에는 다음과 같은 스키마가 있습니다.
열 이름 | 데이터 유형 | 값 |
---|---|---|
start_timestamp |
TIMESTAMP |
(파티션 나누기 열) 집계된 통계에 대한 1분 간격의 시작 타임스탬프입니다. |
project_id |
STRING |
(클러스터링 열) 프로젝트의 ID |
project_number |
INTEGER |
프로젝트의 번호 |
dataset_id |
STRING |
(클러스터링 열) 데이터 세트의 ID |
table_id |
STRING |
(클러스터링 열) 테이블의 ID |
error_code |
STRING |
이 행에서 지정한 요청에 대해 반환되는 오류 코드 성공적인 요청에 대한 NULL |
total_requests |
INTEGER |
1분 간격 내 총 요청 수 |
total_rows |
INTEGER |
1분 간격 동안 모든 요청의 총 행 수입니다. |
total_input_bytes |
INTEGER |
1분 간격 내 모든 행의 총 바이트 수 |
데이터 보관
이 뷰에는 지난 180일 동안의 스트리밍 기록이 포함됩니다.
범위 및 구문
이 뷰에 대한 쿼리에는 리전 한정자가 있어야 합니다. 리전 한정자를 지정하지 않으면 모든 리전에서 메타데이터가 검색됩니다. 다음 표에는 이 뷰의 리전 범위가 나와 있습니다.
뷰 이름 | 리소스 범위 | 리전 범위 |
---|---|---|
[PROJECT_ID.]`region-REGION`.INFORMATION_SCHEMA.STREAMING_TIMELINE[_BY_PROJECT] |
프로젝트 수준 | REGION |
- (선택사항)
PROJECT_ID
: Google Cloud 프로젝트의 ID입니다. 지정하지 않으면 기본 프로젝트가 사용됩니다. REGION
: 모든 데이터 세트 리전 이름입니다. 예를 들면region-us
입니다.
예시
- 미국 멀티 리전의 데이터를 쿼리하려면
`region-us`.INFORMATION_SCHEMA.STREAMING_TIMELINE_BY_PROJECT
를 사용합니다. - EU 멀티 리전의 데이터를 쿼리하려면
`region-eu`.INFORMATION_SCHEMA.STREAMING_TIMELINE_BY_PROJECT
를 사용합니다. - asia-northeast1 리전의 데이터를 쿼리하려면
`region-asia-northeast1`.INFORMATION_SCHEMA.STREAMING_TIMELINE_BY_PROJECT
를 사용합니다.
사용 가능한 리전 목록은 데이터 세트 위치를 참조하세요.
예시
예시 1: 최근 스트리밍 실패
다음 예시에서는 최근 30분간 프로젝트 내 모든 테이블에 대해 실패한 총 요청의 분당 분석을 오류 코드로 분할하여 계산합니다.
SELECT start_timestamp, error_code, SUM(total_requests) AS num_failed_requests FROM `region-us`.INFORMATION_SCHEMA.STREAMING_TIMELINE_BY_PROJECT WHERE error_code IS NOT NULL AND start_timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP, INTERVAL 30 MINUTE) GROUP BY start_timestamp, error_code ORDER BY start_timestamp DESC;
결과는 다음과 비슷합니다.
+---------------------+------------------+---------------------+ | start_timestamp | error_code | num_failed_requests | +---------------------+------------------+---------------------+ | 2020-04-15 20:55:00 | INTERNAL_ERROR | 41 | | 2020-04-15 20:41:00 | CONNECTION_ERROR | 5 | | 2020-04-15 20:30:00 | INTERNAL_ERROR | 115 | +---------------------+------------------+---------------------+
예시 2: 오류 코드가 있는 모든 요청에 대한 분당 분석
다음 예시에서는 성공적이거나 실패한 스트리밍 요청의 분당 분석을 오류 코드 카테고리로 분할하여 계산합니다. 이 쿼리는 대시보드를 채우는 데 사용할 수 있습니다.
SELECT start_timestamp, SUM(total_requests) AS total_requests, SUM(total_rows) AS total_rows, SUM(total_input_bytes) AS total_input_bytes, SUM( IF( error_code IN ('QUOTA_EXCEEDED', 'RATE_LIMIT_EXCEEDED'), total_requests, 0)) AS quota_error, SUM( IF( error_code IN ( 'INVALID_VALUE', 'NOT_FOUND', 'SCHEMA_INCOMPATIBLE', 'BILLING_NOT_ENABLED', 'ACCESS_DENIED', 'UNAUTHENTICATED'), total_requests, 0)) AS user_error, SUM( IF( error_code IN ('CONNECTION_ERROR','INTERNAL_ERROR'), total_requests, 0)) AS server_error, SUM(IF(error_code IS NULL, 0, total_requests)) AS total_error, FROM `region-us`.INFORMATION_SCHEMA.STREAMING_TIMELINE_BY_PROJECT GROUP BY start_timestamp ORDER BY start_timestamp DESC;
결과는 다음과 비슷합니다.
+---------------------+----------------+------------+-------------------+-------------+------------+--------------+-------------+ | start_timestamp | total_requests | total_rows | total_input_bytes | quota_error | user_error | server_error | total_error | +---------------------+----------------+------------+-------------------+-------------+------------+--------------+-------------+ | 2020-04-15 22:00:00 | 441854 | 441854 | 23784853118 | 0 | 0 | 17 | 17 | | 2020-04-15 21:59:00 | 355627 | 355627 | 26101982742 | 0 | 0 | 0 | 0 | | 2020-04-15 21:58:00 | 354603 | 354603 | 26160565341 | 0 | 0 | 0 | 0 | | 2020-04-15 21:57:00 | 298823 | 298823 | 23877821442 | 0 | 0 | 0 | 0 | +---------------------+----------------+------------+-------------------+-------------+------------+--------------+-------------+
예시 3: 유입되는 트래픽이 가장 많은 테이블
다음 예시는 수신 트래픽이 가장 많은 10개의 테이블에 대한 스트리밍 통계를 반환합니다.
SELECT project_id, dataset_id, table_id, SUM(total_rows) AS num_rows, SUM(total_input_bytes) AS num_bytes, SUM(total_requests) AS num_requests FROM `region-us`.INFORMATION_SCHEMA.STREAMING_TIMELINE_BY_PROJECT GROUP BY project_id, dataset_id, table_id ORDER BY num_bytes DESC LIMIT 10;
결과는 다음과 비슷합니다.
+----------------------+------------+-------------------------------+------------+----------------+--------------+ | project_id | dataset_id | table_id | num_rows | num_bytes | num_requests | +----------------------+------------+-------------------------------+------------+----------------+--------------+ | my-project | dataset1 | table1 | 8016725532 | 73787301876979 | 8016725532 | | my-project | dataset1 | table2 | 26319580 | 34199853725409 | 26319580 | | my-project | dataset2 | table1 | 38355294 | 22879180658120 | 38355294 | | my-project | dataset1 | table3 | 270126906 | 17594235226765 | 270126906 | | my-project | dataset2 | table2 | 95511309 | 17376036299631 | 95511309 | | my-project | dataset2 | table3 | 46500443 | 12834920497777 | 46500443 | | my-project | dataset2 | table4 | 25846270 | 7487917957360 | 25846270 | | my-project | dataset1 | table4 | 18318404 | 5665113765882 | 18318404 | | my-project | dataset1 | table5 | 42829431 | 5343969665771 | 42829431 | | my-project | dataset1 | table6 | 8771021 | 5119004622353 | 8771021 | +----------------------+------------+-------------------------------+------------+----------------+--------------+
예시 4: 테이블에 대한 스트리밍 오류 비율
다음 예시에서는 특정 테이블에 대한 일일 오류 분석을 오류 코드로 분할하여 계산합니다.
SELECT TIMESTAMP_TRUNC(start_timestamp, DAY) as day, project_id, dataset_id, table_id, error_code, SUM(total_rows) AS num_rows, SUM(total_input_bytes) AS num_bytes, SUM(total_requests) AS num_requests FROM `region-us`.INFORMATION_SCHEMA.STREAMING_TIMELINE_BY_PROJECT WHERE table_id LIKE 'my_table' GROUP BY project_id, dataset_id, table_id, error_code, day ORDER BY day, project_id, dataset_id DESC;
결과는 다음과 비슷합니다.
+---------------------+-------------+------------+----------+----------------+----------+-----------+--------------+ | day | project_id | dataset_id | table_id | error_code | num_rows | num_bytes | num_requests | +---------------------+-------------+------------+----------+----------------+----------+-----------+--------------+ | 2020-04-21 00:00:00 | my_project | my_dataset | my_table | NULL | 41 | 252893 | 41 | | 2020-04-20 00:00:00 | my_project | my_dataset | my_table | NULL | 2798 | 10688286 | 2798 | | 2020-04-19 00:00:00 | my_project | my_dataset | my_table | NULL | 2005 | 7979495 | 2005 | | 2020-04-18 00:00:00 | my_project | my_dataset | my_table | NULL | 2054 | 7972378 | 2054 | | 2020-04-17 00:00:00 | my_project | my_dataset | my_table | NULL | 2056 | 6978079 | 2056 | | 2020-04-17 00:00:00 | my_project | my_dataset | my_table | INTERNAL_ERROR | 4 | 10825 | 4 | +---------------------+-------------+------------+----------+----------------+----------+-----------+--------------+