Cloud Logging에서 파이프라인 로그 보기

이 페이지에서는 Cloud Data Fusion 인스턴스에 Cloud Logging을 사용 설정하고 파이프라인 로그를 보는 방법을 설명합니다.

시작하기 전에

Cloud Data Fusion 인스턴스 만들기 인스턴스 생성 프로세스가 완료되는 데 최대 30분이 걸립니다.

Cloud Logging 사용 설정

Cloud Data Fusion 파이프라인에서 Cloud Logging을 사용하려면 Cloud Data Fusion 인스턴스를 만들 때 Cloud Logging을 사용 설정합니다.

  1. Google Cloud 콘솔에서 인스턴스 페이지를 엽니다.
  2. 인스턴스 만들기를 클릭합니다.
  3. 고급 옵션 표시를 클릭합니다.

  4. 로깅 및 모니터링에서 Stackdriver Logging 서비스 사용 설정을 클릭합니다.

    Cloud Logging 사용 설정

인스턴스를 만든 후에는 Google Cloud 콘솔에서 Cloud Logging을 사용 설정할 수 없습니다. 대신 다음 gcloud CLI 명령어를 실행하세요.

gcloud beta data-fusion instances update INSTANCE_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --enable_stackdriver_logging

로그 보기

각 Cloud Data Fusion 파이프라인 실행에는 고유한 RunID가 할당됩니다. 파이프라인을 배포 및 실행한 후 RunID를 확인합니다. 그런 다음 Logging에서 RunID를 사용하여 파이프라인 로그를 볼 수 있습니다.

파이프라인의 RunID 가져오기

  1. 인스턴스로 이동합니다.

    1. Google Cloud 콘솔에서 Cloud Data Fusion 페이지로 이동합니다.

    2. Cloud Data Fusion Studio에서 인스턴스를 열려면 인스턴스를 클릭한 다음 인스턴스 보기를 클릭합니다.

      인스턴스로 이동

  2. 요약 > 테이블을 클릭합니다.

  3. RunId 링크를 클릭하여 복사합니다.

    RunID 복사

로그 탐색기에서 로그 보기

  1. Google Cloud 콘솔에서 Cloud Logging > 로그 탐색기 페이지로 이동합니다.

    Go 로그 탐색기

  2. 필터 메뉴에서 Cloud Dataproc 클러스터 > cdap-PIPELINE_NAME-YOUR_RUNID를 선택합니다.

    Cloud Logging으로 이동

선택사항: 로그 필터링

필터 메뉴를 사용하여 로그를 필터링합니다. 다양한 로그 심각도 수준 또는 구성요소(예: datafusion-pipeline-logs) 기준으로 필터링할 수 있습니다.

선택사항: 로그 다운로드

로그 다운로드를 클릭합니다.

자세한 내용은 로그 항목 다운로드에 대한 Cloud Logging 문서를 참조하세요.

다음 단계