WRITE_API_TIMELINE_BY_FOLDER 뷰
INFORMATION_SCHEMA.WRITE_API_TIMELINE_BY_FOLDER
뷰에는 하위 폴더를 포함하여 현재 프로젝트의 상위 폴더에 대한 분당 집계된 BigQuery Storage Write API 수집 통계가 포함됩니다.
INFORMATION_SCHEMA
Write API 뷰를 쿼리하여 BigQuery Storage Write API를 사용하는 BigQuery로의 데이터 수집에 대한 이전 및 실시간 정보를 검색할 수 있습니다. 자세한 내용은 BigQuery Storage Write API를 참조하세요.
필요한 권한
INFORMATION_SCHEMA.WRITE_API_TIMELINE_BY_FOLDER
뷰를 쿼리하려면 프로젝트의 상위 폴더에 대한 bigquery.tables.list
Identity and Access Management(IAM) 권한이 필요합니다.
다음과 같이 사전 정의된 각 IAM 역할에는 위의 권한이 포함되어 있습니다.
roles/bigquery.admin
roles/bigquery.user
roles/bigquery.dataViewer
roles/bigquery.dataEditor
roles/bigquery.dataOwner
roles/bigquery.metadataViewer
roles/bigquery.resourceAdmin
BigQuery 권한에 대한 자세한 내용은 IAM으로 액세스 제어를 참조하세요.
스키마
INFORMATION_SCHEMA
BigQuery Storage Write API 뷰를 쿼리하면 BigQuery Storage Write API를 사용한 BigQuery로의 데이터 수집에 대한 이전 및 실시간 정보가 쿼리 결과에 포함됩니다. 다음 뷰의 각 행은 start_timestamp
에서 시작하는 1분 간격 동안 집계된 특정 테이블로의 수집에 대한 통계를 나타냅니다. 통계는 스트림 유형 및 오류 코드별로 그룹화되므로 스트림 유형마다 행이 하나씩 있고 각 타임스탬프 및 테이블 조합에 대해 1분 간격으로 각 오류 코드가 발생합니다. 요청이 성공하면 오류 코드가 OK
로 설정됩니다. 특정 기간 동안 테이블로 수집되는 데이터가 없으면 해당 테이블에는 해당 타임스탬프에 대한 행이 나타나지 않습니다.
INFORMATION_SCHEMA.WRITE_API_TIMELINE_BY_*
뷰에는 다음과 같은 스키마가 있습니다.
열 이름 | 데이터 유형 | 값 |
---|---|---|
start_timestamp |
TIMESTAMP |
(파티션 나누기 열) 집계된 통계에 대한 1분 간격의 시작 타임스탬프입니다. |
project_id |
STRING |
(클러스터링 열) 프로젝트의 ID |
project_number |
INTEGER |
프로젝트의 번호 |
dataset_id |
STRING |
(클러스터링 열) 데이터 세트의 ID |
table_id |
STRING |
(클러스터링 열) 테이블의 ID |
stream_type |
STRING |
BigQuery Storage Write API를 사용한 데이터 수집에 사용되는 스트림 유형입니다. 'DEFAULT', 'COMMITTED', 'BUFFERED' 또는 'PENDING' 중 하나여야 합니다. |
error_code |
STRING |
이 행에서 지정한 요청에 대해 반환되는 오류 코드 성공적인 요청에 대해 'OK'입니다. |
total_requests |
INTEGER |
1분 간격 내 총 요청 수 |
total_rows |
INTEGER |
1분 간격 동안 모든 요청의 총 행 수입니다. |
total_input_bytes |
INTEGER |
1분 간격 내 모든 행의 총 바이트 수 |
데이터 보관
이 뷰에는 지난 180일 동안의 BigQuery Storage Write API 수집 기록이 포함됩니다.
범위 및 구문
이 뷰에 대한 쿼리에는 리전 한정자가 있어야 합니다. 리전 한정자를 지정하지 않으면 모든 리전에서 메타데이터가 검색됩니다. 다음 표에는 이 뷰의 리전 범위가 나와 있습니다.
뷰 이름 | 리소스 범위 | 리전 범위 |
---|---|---|
[PROJECT_ID.]`region-REGION`.INFORMATION_SCHEMA.WRITE_API_TIMELINE_BY_FOLDER |
지정된 프로젝트가 포함된 폴더 | REGION |
- (선택사항)
PROJECT_ID
: Google Cloud 프로젝트의 ID입니다. 지정하지 않으면 기본 프로젝트가 사용됩니다. REGION
: 모든 데이터 세트 리전 이름입니다. 예를 들면region-us
입니다.
예시
- 미국 멀티 리전의 데이터를 쿼리하려면
region-us.INFORMATION_SCHEMA.WRITE_API_TIMELINE_BY_FOLDER
를 사용합니다. - EU 멀티 리전의 데이터를 쿼리하려면
region-eu.INFORMATION_SCHEMA.WRITE_API_TIMELINE_BY_FOLDER
를 사용합니다. - asia-northeast1 리전의 데이터를 쿼리하려면
region-asia-northeast1.INFORMATION_SCHEMA.WRITE_API_TIMELINE_BY_FOLDER
를 사용합니다.
사용 가능한 리전 목록은 데이터 세트 위치를 참조하세요.
예시
예시 1: 최근 BigQuery Storage Write API 수집 실패
다음 예시에서는 최근 30분간 프로젝트의 폴더 내 모든 테이블에 대해 실패한 총 요청의 분당 분석을 스트림 유형 및 오류 코드로 분할하여 계산합니다.
SELECT start_timestamp, stream_type, error_code, SUM(total_requests) AS num_failed_requests FROM `region-us`.INFORMATION_SCHEMA.WRITE_API_TIMELINE_BY_FOLDER WHERE error_code != 'OK' AND start_timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP, INTERVAL 30 MINUTE) GROUP BY start_timestamp, stream_type, error_code ORDER BY start_timestamp DESC;
결과는 다음과 비슷합니다.
+---------------------+-------------+------------------+---------------------+ | start_timestamp | stream_type | error_code | num_failed_requests | +---------------------+-------------+------------------+---------------------+ | 2023-02-24 00:25:00 | PENDING | NOT_FOUND | 5 | | 2023-02-24 00:25:00 | DEFAULT | INVALID_ARGUMENT | 1 | | 2023-02-24 00:25:00 | DEFAULT | DEADLINE_EXCEEDED| 4 | | 2023-02-24 00:24:00 | PENDING | INTERNAL | 3 | | 2023-02-24 00:24:00 | DEFAULT | INVALID_ARGUMENT | 1 | | 2023-02-24 00:24:00 | DEFAULT | DEADLINE_EXCEEDED| 2 | +---------------------+-------------+------------------+---------------------+
예시 2: 오류 코드가 있는 모든 요청에 대한 분당 분석
다음 예시에서는 프로젝트 폴더에서 오류 코드 카테고리로 분할된 성공 및 실패한 추가 요청에 대한 분당 분석을 계산합니다. 이 쿼리는 대시보드를 채우는 데 사용할 수 있습니다.
SELECT start_timestamp, SUM(total_requests) AS total_requests, SUM(total_rows) AS total_rows, SUM(total_input_bytes) AS total_input_bytes, SUM( IF( error_code IN ( 'INVALID_ARGUMENT', 'NOT_FOUND', 'CANCELLED', 'RESOURCE_EXHAUSTED', 'ALREADY_EXISTS', 'PERMISSION_DENIED', 'UNAUTHENTICATED', 'FAILED_PRECONDITION', 'OUT_OF_RANGE'), total_requests, 0)) AS user_error, SUM( IF( error_code IN ( 'DEADLINE_EXCEEDED','ABORTED', 'INTERNAL', 'UNAVAILABLE', 'DATA_LOSS', 'UNKNOWN'), total_requests, 0)) AS server_error, SUM(IF(error_code = 'OK', 0, total_requests)) AS total_error, FROM `region-us`.INFORMATION_SCHEMA.WRITE_API_TIMELINE_BY_FOLDER GROUP BY start_timestamp ORDER BY start_timestamp DESC;
결과는 다음과 비슷합니다.
+---------------------+----------------+------------+-------------------+------------+--------------+-------------+ | start_timestamp | total_requests | total_rows | total_input_bytes | user_error | server_error | total_error | +---------------------+----------------+------------+-------------------+------------+--------------+-------------+ | 2020-04-15 22:00:00 | 441854 | 441854 | 23784853118 | 0 | 17 | 17 | | 2020-04-15 21:59:00 | 355627 | 355627 | 26101982742 | 8 | 0 | 13 | | 2020-04-15 21:58:00 | 354603 | 354603 | 26160565341 | 0 | 0 | 0 | | 2020-04-15 21:57:00 | 298823 | 298823 | 23877821442 | 2 | 0 | 2 | +---------------------+----------------+------------+-------------------+------------+--------------+-------------+
예시 3: 유입되는 트래픽이 가장 많은 테이블
다음 예시는 프로젝트 폴더에서 유입되는 트래픽이 가장 많은 10개 테이블에 대한 BigQuery Storage Write API 수집 통계를 반환합니다.
SELECT project_id, dataset_id, table_id, SUM(total_rows) AS num_rows, SUM(total_input_bytes) AS num_bytes, SUM(total_requests) AS num_requests FROM `region-us`.INFORMATION_SCHEMA.WRITE_API_TIMELINE_BY_FOLDER GROUP BY project_id, dataset_id, table_id ORDER BY num_bytes DESC LIMIT 10;
결과는 다음과 비슷합니다.
+----------------------+------------+-------------------------------+------------+----------------+--------------+ | project_id | dataset_id | table_id | num_rows | num_bytes | num_requests | +----------------------+------------+-------------------------------+------------+----------------+--------------+ | my-project1 | dataset1 | table1 | 8016725532 | 73787301876979 | 8016725532 | | my-project2 | dataset1 | table2 | 26319580 | 34199853725409 | 26319580 | | my-project1 | dataset2 | table1 | 38355294 | 22879180658120 | 38355294 | | my-project3 | dataset1 | table3 | 270126906 | 17594235226765 | 270126906 | | my-project2 | dataset2 | table2 | 95511309 | 17376036299631 | 95511309 | | my-project2 | dataset2 | table3 | 46500443 | 12834920497777 | 46500443 | | my-project3 | dataset2 | table4 | 25846270 | 7487917957360 | 25846270 | | my-project4 | dataset1 | table4 | 18318404 | 5665113765882 | 18318404 | | my-project4 | dataset1 | table5 | 42829431 | 5343969665771 | 42829431 | | my-project4 | dataset1 | table6 | 8771021 | 5119004622353 | 8771021 | +----------------------+------------+-------------------------------+------------+----------------+--------------+