Cloud Logging에서 파이프라인 로그 보기

이 페이지에서는 Cloud Data Fusion 인스턴스에 Cloud Logging을 사용 설정하고 파이프라인 로그를 보는 방법을 설명합니다.

시작하기 전에

Cloud Data Fusion 인스턴스 만들기 인스턴스 생성 프로세스가 완료되는 데 최대 30분이 걸립니다.

Cloud Logging 사용 설정

Cloud Data Fusion 파이프라인에서 Cloud Logging을 사용하려면 Cloud Data Fusion 인스턴스를 만들 때 Cloud Logging을 사용 설정합니다.

  1. Google Cloud 콘솔에서 인스턴스 페이지를 엽니다.
  2. 인스턴스 만들기를 클릭합니다.
  3. 고급 옵션 표시를 클릭합니다.

  4. 로깅 및 모니터링에서 Stackdriver Logging 서비스 사용 설정을 클릭합니다.

    Cloud Logging 사용 설정

인스턴스를 만든 후에는 Google Cloud 콘솔에서 Cloud Logging을 사용 설정할 수 없습니다. 대신 다음 gcloud CLI 명령어를 실행하세요.

gcloud beta data-fusion instances update INSTANCE_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --enable_stackdriver_logging

로그 보기

각 Cloud Data Fusion 파이프라인 실행에는 고유한 RunID가 할당됩니다. 파이프라인을 배포 및 실행한 후 RunID를 확인합니다. 그런 다음 Logging에서 RunID를 사용하여 파이프라인 로그를 볼 수 있습니다.

파이프라인의 RunID 가져오기

  1. 인스턴스로 이동합니다.

    1. Google Cloud 콘솔에서 Cloud Data Fusion 페이지로 이동합니다.

    2. Cloud Data Fusion 웹 인터페이스에서 인스턴스를 열려면 인스턴스를 클릭한 후 인스턴스 보기를 클릭합니다.

      인스턴스로 이동

  2. 요약 > 테이블을 클릭합니다.

  3. RunId 링크를 클릭하여 복사합니다.

    RunID 복사

로그 탐색기에서 로그 보기

  1. Google Cloud 콘솔에서 Cloud Logging > 로그 탐색기 페이지로 이동합니다.

    Go 로그 탐색기

  2. 필터 메뉴에서 Cloud Dataproc 클러스터 > cdap-PIPELINE_NAME-YOUR_RUNID를 선택합니다.

    Cloud Logging으로 이동

선택사항: 로그 필터링

필터 메뉴를 사용하여 로그를 필터링합니다. 다양한 로그 심각도 수준 또는 구성요소(예: datafusion-pipeline-logs) 기준으로 필터링할 수 있습니다.

선택사항: 로그 다운로드

로그 다운로드를 클릭합니다.

자세한 내용은 로그 항목 다운로드에 대한 Cloud Logging 문서를 참조하세요.

다음 단계