BigQuery Data Transfer Service의 로그 모니터링 및 보기
BigQuery Data Transfer Service 모니터링 및 로깅은 서비스의 워크로드 성능 및 상태에 대한 정보를 제공합니다. BigQuery Data Transfer Service는 모니터링 데이터를 Cloud Monitoring으로 내보냅니다.
BigQuery Data Transfer Service 모니터링
다음과 같은 목적으로 모니터링 측정항목을 사용할 수 있습니다.
- 데이터 전송 구성의 사용량 및 성능을 평가합니다.
- 문제 해결
- 전송 실행 상태를 모니터링합니다.
Google Cloud Console 또는 Monitoring API를 사용하면 Monitoring으로 커스텀 대시보드를 만들고, 알림을 설정하고, 측정항목을 쿼리할 수 있습니다.
측정항목 탐색기에서 전송 데이터 보기
Google Cloud Console에서 Monitoring 페이지로 이동합니다.
탐색창에서 측정항목 탐색기를 클릭합니다.
프로젝트를 선택합니다.
리소스 유형 및 측정항목 찾기 상자에 다음을 입력합니다.
- 리소스 유형에
BigQuery DTS Config를 입력합니다. 측정항목의 경우 전송 구성 모니터링 측정항목에 표시된 측정항목 중 하나를 선택합니다(예시:
Completed run count).
- 리소스 유형에
선택사항: 정렬기, 감소기 및 기타 매개변수를 선택합니다.
측정항목이 측정항목 탐색기 창에 표시됩니다.
Cloud Monitoring 알림 정의
BigQuery Data Transfer Service 측정항목의 Monitoring 알림을 정의할 수 있습니다.
Google Cloud Console에서 Monitoring 페이지로 이동합니다.
탐색창에서 알림 > 정책 만들기를 선택합니다.
알림 정책과 그 개념에 대한 자세한 내용은 알림 정책 유형을 참조하세요.
조건 추가를 클릭하고 조건 유형을 선택합니다.
측정항목과 필터를 선택합니다. 측정항목의 리소스 유형은 BigQuery DTS 구성입니다.
조건 저장을 클릭합니다.
정책 이름을 입력한 다음 정책 저장을 클릭합니다.
알림 정책 및 개념에 대한 자세한 내용은 알림 소개를 참조하세요.
Cloud Monitoring 커스텀 대시보드 정의
BigQuery Data Transfer Service 측정항목에 대해 커스텀 대시보드를 만들 수 있습니다.
Google Cloud Console에서 Monitoring 페이지로 이동합니다.
탐색창에서 대시보드 > 대시보드 만들기를 선택합니다.
차트 추가를 클릭합니다.
차트 제목을 입력합니다.
측정항목과 필터를 선택합니다. 측정항목의 리소스 유형은 BigQuery DTS 구성입니다.
저장을 클릭합니다.
자세한 내용은 커스텀 대시보드 관리를 참조하세요.
측정항목 보고 빈도 및 보관
BigQuery Data Transfer Service 실행의 측정항목은 1분 간격으로 일괄적으로 Monitoring으로 내보내집니다. Monitoring 데이터는 6주간 보관됩니다.
대시보드는 1h(1시간), 6H(6시간), 1D(1일), 1W(1주), 6W(6주)의 기본 주기로 데이터 분석을 제공합니다. 1M(1분)에서 6W(6주)까지 원하는 간격으로 수동으로 분석을 요청할 수 있습니다.
전송 구성 측정항목 모니터링
BigQuery Data Transfer Service 구성의 다음 측정항목은 Monitoring으로 내보내집니다.
| 측정항목 | 설명 |
|---|---|
| 지연 시간 분포 실행 | 전송 구성당 각 전송 실행의 실행 시간(초)입니다. |
| 활성 실행 수 | 전송 구성별로 실행 중이거나 대기 중인 전송 실행 수입니다. |
| 완료된 실행 수 | 전송 구성별로 일정 기간에 완료된 전송 실행 수입니다. |
측정항목의 필터링 측정기준
측정항목은 각 BigQuery Data Transfer Service 구성에 대해 집계됩니다. 집계된 측정항목을 다음 측정기준으로 필터링할 수 있습니다.
| 속성 | 설명 |
|---|---|
TRANSFER_STATE |
전송 실행의 현재 전송 상태를 나타냅니다. 이 측정기준에는 다음 값 중 하나가 포함될 수 있습니다.
|
ERROR_CODE |
전송 실행의 최종 오류 코드를 나타냅니다. 이 측정기준에는 다음 값 중 하나가 포함될 수 있습니다.
|
RUN_CAUSE |
전송 실행이 트리거된 방법을 나타냅니다. 이 측정기준에는 다음 값 중 하나가 포함될 수 있습니다.
|
BigQuery Data Transfer Service 로그
각 BigQuery Data Transfer Service 실행은 Cloud Logging을 사용하여 로깅됩니다. 로깅은 모든 데이터 전송에서 자동으로 사용 설정됩니다.
필요한 역할
로그 뷰어 역할(roles/logging.viewer)은 Logging의 모든 기능에 대한 읽기 전용 액세스 권한을 제공합니다. Logging 데이터에 적용되는 Identity and Access Management(IAM) 권한 및 역할에 대한 자세한 내용은 Logging 액세스 제어 가이드를 참조하세요.
로그 보기
로그를 보려면 로그 탐색기 페이지로 이동합니다.
BigQuery Data Transfer Service 로그는 먼저 전송 구성으로 색인이 생성된 다음 개별 전송 실행으로 색인이 생성됩니다.
전송 실행 로그 보기
특정 전송 run_id의 로그 항목만 표시하려면 쿼리 빌더에 다음 필터를 추가합니다.
resource.type="bigquery_dts_config" labels.run_id="transfer_run_id"
전송 구성 로그 보기
특정 전송 config_id의 로그 항목을 표시하려면 쿼리 빌더에서 다음 필터를 추가합니다.
resource.type="bigquery_dts_config" labels.run_id="transfer_config_id"
모든 로그 보기
모든 BigQuery Data Transfer Service 로그를 보려면 다음 중 하나를 수행합니다.
로그 필드 섹션에서 리소스 유형으로 BigQuery DTS 구성을 선택합니다.
쿼리 빌더에서 다음 필터를 추가합니다.
resource.type="bigquery_dts_config"
로그 탐색기 사용 방법에 대한 자세한 내용은 로그 탐색기 사용을 참조하세요.
로그 형식
BigQuery Data Transfer Service는 메시지를 다음 형식으로 로깅합니다.
{
"insertId": "0000000000",
"jsonPayload": {
"message": "DTS transfer run message."
},
"resource": {
"type": "bigquery_dts_config",
"labels": {
"project_id": "my_project_id",
"config_id": "transfer_config_id",
"location": "us"
}
},
"timestamp": "2020-11-25T04:45:48.545732221Z",
"severity": "INFO",
"labels": {
"run_id": "transfer_run_id"
},
"logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
"receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}
로깅되는 내용
BigQuery Data Transfer Service 로그 항목에는 전송 실행을 모니터링하고 디버깅하는 데 유용한 정보가 포함됩니다. 로그 항목은 다음과 같은 유형의 정보를 담고 있습니다.
timestamp: 로그 항목의 기간을 계산하고 로그 보관 기간을 시행하는 데 사용됩니다.severity:INFO,WARNING또는ERROR일 수 있습니다.message_text: 전송 실행의 현재 상태를 설명하는 문자열입니다.
다음 단계
- Monitoring 자세히 알아보기
- Cloud 감사 로그 및 Cloud Logging 개요를 읽어보세요.