Cloud Data Fusion 로그 보기

이 문서에서는 Cloud Data Fusion의 파이프라인 로그와 서비스 로그에 액세스하고 이를 보는 방법을 설명합니다.

Cloud Data Fusion 버전 6.11부터 파이프라인 로그와 서비스 로그를 Cloud Logging에서 사용할 수 있습니다.

로그 유형 정보

Cloud Data Fusion은 데이터 통합 프로세스를 모니터링하고 문제를 해결하는 데 도움이 되는 여러 유형의 로그를 생성합니다.

파이프라인 로그
이러한 로그는 미리보기 실행을 비롯한 개별 파이프라인 실행에 관한 자세한 정보를 제공합니다. 이러한 로그는 실행 전 설정, 작업 실행, 실행 후 활동 등 파이프라인 실행의 모든 단계를 다룹니다.

서비스 로그
이러한 로그는 AppFabric 및 AppFabric 프로세서와 같은 Cloud Data Fusion 시스템 서비스에 관한 자세한 정보를 제공합니다.

감사 로그
Cloud Data Fusion은 관리자 활동 감사 로그와 같은 감사 로그를 생성합니다. 자세한 내용은 Cloud Data Fusion 감사 로깅을 참고하세요.

고급 파이프라인 로그
이러한 로그는 개별 파이프라인 실행에 관한 자세한 정보를 제공합니다. 이러한 로그는 Dataproc 클러스터가 프로비저닝을 완료하기 전에도 정보를 캡처하므로 파이프라인 실패 문제를 해결하는 데 특히 유용하며, 클러스터 문제나 지연을 식별하는 데 도움이 될 수 있습니다. 자세한 내용은 Cloud Logging에서 고급 파이프라인 로그 보기를 참고하세요.

가격 책정

Cloud Logging 및 Cloud Monitoring 사용 시 요금이 청구됩니다. 자세한 내용은 Google Cloud Observability 가격 책정을 참고하세요.

선택사항: Cloud Data Fusion 로깅 대시보드 가져오기

Cloud Data Fusion 로깅 대시보드를 사용하여 파이프라인 로그와 서비스 로그를 보려면 대시보드를 가져오세요.

  1. Google Cloud 콘솔에서 Cloud Monitoring 대시보드 페이지로 이동합니다.

    대시보드로 이동

  2. 대시보드 템플릿 보기를 클릭합니다.

  3. Cloud Data Fusion 로깅을 검색하고 대시보드를 선택합니다.

  4. 목록에 Cloud Data Fusion 로깅 대시보드 추가를 클릭합니다.

파이프라인 로그 보기

Cloud Data Fusion 로깅 대시보드를 사용하거나 로그 탐색기에서 직접 파이프라인 로그를 볼 수 있습니다.

대시보드를 사용하여 파이프라인 로그 보기

  1. 아직 가져오지 않았다면 Cloud Data Fusion Logging 대시보드를 가져옵니다.

  2. 내 대시보드 섹션에서 Cloud Data Fusion 로깅을 클릭합니다.

  3. 파이프라인 로그 섹션에서 파이프라인 로그 목록을 확인합니다. 심각도, 필드 이름, 값으로 로그를 필터링할 수 있습니다.

    쿼리를 사용하여 검색을 구체화하려면 로그 탐색기를 사용하세요.

로그 탐색기에서 파이프라인 로그 보기

  1. Google Cloud 콘솔에서 로그 탐색기 페이지로 이동합니다.

    로그 탐색기로 이동

  2. 다음 쿼리를 입력합니다.

    resource.type="datafusion.googleapis.com/PipelineV2"

    파이프라인 로그 목록이 표시됩니다. 필터를 사용하여 결과를 상세검색할 수 있습니다.

파이프라인 로그 필터링

실행 ID, 인스턴스 ID, 파이프라인 ID, 위치, 네임스페이스 또는 맞춤 라벨별로 파이프라인 로그를 필터링할 수 있습니다.

각 Cloud Data Fusion 파이프라인 실행에는 고유한 RunID가 할당됩니다. 파이프라인을 배포하고 실행한 후 파이프라인의 RunID를 확인하고 해당 파이프라인 로그를 볼 수 있습니다.

RunID로 파이프라인 로그를 필터링하려면 다음 단계를 따르세요.

  1. 파이프라인의 RunID를 가져옵니다.

  2. Google Cloud 콘솔에서 로그 탐색기 페이지로 이동합니다.

  3. 다음 쿼리를 입력합니다.

    resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID

서비스 로그 보기

Cloud Data Fusion 로깅 대시보드 또는 로그 탐색기에서 서비스 로그를 볼 수 있습니다.

대시보드를 사용하여 서비스 로그 보기

  1. 아직 가져오지 않았다면 Cloud Data Fusion Logging 대시보드를 가져옵니다.

  2. 내 대시보드 섹션에서 Cloud Data Fusion 로깅을 클릭합니다.

  3. 서비스 로그 섹션에서 서비스 로그 목록을 확인합니다. 심각도, 필드 이름, 값으로 로그를 필터링할 수 있습니다.

    쿼리를 사용하여 검색을 구체화하려면 로그 탐색기를 사용하세요.

로그 탐색기에서 서비스 로그 보기

  1. Google Cloud 콘솔에서 로그 탐색기 페이지로 이동합니다.

    로그 탐색기로 이동

  2. 해당 서비스의 특정 쿼리를 입력하여 서비스 로그를 찾습니다.

    서비스 이름 로그 쿼리
    Appfabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric"
    AppFabric 프로세서 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric.processor"
    데이터 세트 실행자 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="dataset.executor"
    로그 세이버 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="log.saver"
    메타데이터 서비스 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metadata.service"
    측정항목 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metrics"
    Pipeline Studio 
    resource.type="datafusion.googleapis.com/InstanceV2" 
resource.labels.namespace="system"
labels.".userserviceid"="studio"
    런타임 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="runtime"
    Wrangler 서비스 
    resource.type="datafusion.googleapis.com/InstanceV2"
resource.labels.namespace="system"
labels.".applicationId"="dataprep"
labels.".userserviceid"="service"

Cloud Data Fusion의 구성 가능한 로깅

Cloud Data Fusion 6.11.0은 구성 가능한 로깅을 제공하며 Cloud Logging이 기본적으로 사용 설정되어 있습니다. Cloud Logging을 사용 중지할 수는 있지만 중요한 파이프라인 및 인스턴스 로그에 액세스할 수 있도록 사용 설정된 상태로 유지하는 것이 좋습니다.

Cloud Logging을 사용 중지하려면 다음 명령어를 실행합니다.

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

다음을 바꿉니다.

  • PROJECT_ID: Google Cloud 프로젝트 ID입니다.
  • LOCATION: 인스턴스의 위치
  • INSTANCE_ID: Cloud Data Fusion 인스턴스의 ID

다음 단계