미디어 추천의 데이터 품질 확인

이 페이지에서는 미디어 데이터의 다양한 측정항목이 요구사항 기준점을 충족하는지 확인하는 방법을 설명합니다.

미디어 데이터 품질 확인 정보

최근 사용자 이벤트는 미디어 추천에 매우 중요하므로 처리된 데이터와 사용자 이벤트의 품질을 정기적으로 확인해야 합니다. 미디어 추천 앱의 최적화 탭을 검토하여 데이터를 어떻게 개선할 수 있는지 확인하고, 이를 토대로 품질이 우수한 추천을 제공하도록 최적화할 수 있습니다.

측정항목의 기준점이 충족되지 않으면 측정항목에 경고 상태가 표시됩니다. 그런 다음 측정항목과 설명을 검토하여 미디어 품질을 개선하기 위해 취해야 할 조치를 결정해야 합니다.

모든 모델과 목표는 일반 품질 측정항목 기준점을 통과해야 합니다. 일부 모델 및 목표에는 추가 앱별 품질 측정항목과 기준점이 있습니다. 일반적인 품질 측정항목은 동일한 데이터 스토어를 사용하는 모든 앱에 동일하지만 앱별 품질 측정항목은 앱의 모델 및 목표에 따라 다릅니다.

추천 모델 및 목표에 대한 자세한 내용은 미디어 앱 추천 유형 정보를 참고하세요.

데이터 품질 확인

콘솔

미디어 추천 데이터의 품질을 확인하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 Agent Builder 페이지로 이동합니다.

    Agent Builder

  2. 데이터 품질을 확인하려는 미디어 추천 앱의 이름을 클릭합니다.

  3. 탐색 메뉴에서 데이터 품질을 클릭하고 최적화 탭을 클릭합니다. 이 페이지에는 앱과 연결된 데이터의 다양한 측정항목 상태가 표시됩니다.

  4. 페이지 상단의 일반 품질앱별 품질 상태를 검토합니다. 페이지 상단의 요약 상태는 하나 이상의 측정항목이 기준을 초과하면 경고로 표시됩니다.

    두 개의 측정항목 표 (일반 품질앱별 품질)에는 개별 측정항목이 나열됩니다.

    최적화 탭에 일반 품질 doc_with_same_title_percentage에 관한 경고 측정항목 1개가 표시됨

  5. 측정항목 표에서 세부정보 보기를 클릭하여 경고 상태의 측정항목에 관한 자세한 정보를 확인합니다.

  6. 선택사항: 규정을 준수하는 측정항목의 기준점을 보려면 세부정보 보기를 클릭합니다. 규정을 준수하는 측정항목의 기준점은 측정항목 표에 표시되지 않습니다.

REST

그림과 같이 requirements:checkRequirement 메서드를 사용하여 미디어 추천 데이터의 품질을 확인합니다.

명령줄에서 품질을 확인하려면 다음 단계를 따르세요.

  1. 데이터 스토어 ID를 찾습니다. 데이터 스토어 ID가 이미 있는 경우 다음 단계로 건너뜁니다.

    1. Google Cloud 콘솔에서 Agent Builder 페이지로 이동하고 탐색 메뉴에서 데이터 스토어를 클릭합니다.

      데이터 스토어 페이지로 이동

    2. 데이터 스토어 이름을 클릭합니다.

    3. 데이터 스토어의 데이터 페이지에서 데이터 스토어 ID를 가져옵니다.

  2. 다음 curl 명령어를 실행하여 미디어 추천이 일반 측정항목의 기준점을 충족하는지 확인합니다.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-GFE-SSL: yes" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
    -d '{
          "location": "projects/PROJECT_ID/locations/global",
          "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
          "resources": [
            {
              "labels": {
                "branch_id": "0",
                "collection_id": "default_collection",
                "datastore_id": "DATA_STORE_ID",
                "location_id": "global",
                "project_number": "PROJECT_ID"
              },
              "type": "discoveryengine.googleapis.com/Branch"
            },
            {
              "labels": {
                "collection_id": "default_collection",
                "datastore_id": "DATA_STORE_ID",
                "location_id": "global",
                "project_number": "PROJECT_ID"
              },
              "type": "discoveryengine.googleapis.com/DataStore"
            }
          ]
        }'
    
    • PROJECT_ID: Google Cloud 프로젝트의 ID입니다.
    • DATA_STORE_ID: Vertex AI Search 데이터 스토어의 ID입니다.
  3. 출력을 검토합니다.

    1. result 값을 찾습니다.

      • 값이 SUCCESS이면 데이터가 일반 요구사항을 통과한 것입니다. 4단계로 계속 진행합니다.

      • 값이 WARNING이면 b단계로 진행합니다.

      • 출력에 result가 표시되지 않는 경우 다음과 같은 몇 가지 이유가 있을 수 있습니다.

        • 요청의 PROJECT_ID 또는 DATA_STORE_ID가 잘못되었습니다.

        • 일부 측정항목 값은 사용할 수 없습니다. 6시간 후에 다시 시도하거나 고객 엔지니어에게 문의하여 도움을 받으세요.

    2. 표현식(requirement.Condition.Expression)을 찾습니다. 이 표현식이 false로 평가되면 데이터에 문제가 있는 것입니다.

      측정항목의 값은 requirementCondition.metricResults.value 필드에 있습니다. 경고 기준점 값은 thresholdBindings.thresholdValues 필드에 있습니다. description 필드를 사용하면 측정항목의 목적을 파악하는 데 도움이 됩니다.

      예를 들어 doc_with_same_title_percentage의 값은 30.47이고 doc_with_same_title_percentage_threshold의 경고 기준점은 1입니다. 데이터 스토어의 제목이 너무나도 많은 동일한 데이터 문제가 있으며 이를 조사해야 합니다.

  4. 추천 앱에 사용된 모델 및 목표 조합이 이 표에 표시되면 모델 및 목표의 값으로 업데이트된 요구사항 확인 메서드도 호출해야 합니다.

    모델 목표 MODEL_OBJ
    내가 좋아할 만한 기타 항목 전환율 oyml/cvr
    추천 서비스 전환율 rfy/cvr
    비슷한 항목 더보기 전환율 mlt/cvr
    최고 인기 전환율 mp/cvr
    내가 좋아할 만한 기타 항목 세션당 시청 지속 시간 oyml/wdps
    추천 서비스 세션당 시청 지속 시간 rfy/wdps
    비슷한 항목 더보기 세션당 시청 지속 시간 mlt/wdps

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-GFE-SSL: yes" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
    -d '{
          "location": "projects/PROJECT_ID/locations/global",
          "requirementType": "discoveryengine.googleapis.com/media_recs/MODEL_OBJ/warning",
          "resources": [
            {
              "labels": {
                "branch_id": "0",
                "collection_id": "default_collection",
                "datastore_id": "DATA_STORE_ID",
                "location_id": "global",
                "project_number": "PROJECT_ID"
              },
              "type": "discoveryengine.googleapis.com/Branch"
            },
            {
              "labels": {
                "collection_id": "default_collection",
                "datastore_id": "DATA_STORE_ID",
                "location_id": "global",
                "project_number": "PROJECT_ID"
              },
              "type": "discoveryengine.googleapis.com/DataStore"
            }
          ]
        }'
    
    • PROJECT_ID: Google Cloud 프로젝트의 ID입니다.
    • DATA_STORE_ID: Vertex AI Search 데이터 스토어의 ID입니다.
    • MODEL_OBJ: 추천 앱에 적절한 값을 선택하려면 위의 표를 참고하세요.
  5. 출력을 검토합니다.

    1. result 값을 찾습니다.

      • 값이 SUCCESS이면 데이터가 충분합니다.

      • 값이 WARNING이면 b단계로 진행합니다.

      • 출력에 result가 표시되지 않는 경우 다음과 같은 몇 가지 이유가 있을 수 있습니다.

        • 요청의 PROJECT_ID 또는 DATA_STORE_ID가 잘못되었습니다.

        • 일부 측정항목 값은 사용할 수 없습니다. 6시간 후에 다시 시도하거나 고객 엔지니어에게 문의하여 도움을 받으세요.

    2. 표현식(requirement.Condition.Expression)을 확인합니다. 이 표현식이 false로 평가되면 데이터에 문제가 있는 것입니다.

      측정항목 값은 requirementCondition.metricResults.value 필드에서, 경고 기준점 값은 thresholdBindings.thresholdValues 필드에서 확인할 수 있습니다. description 필드를 사용하면 측정항목의 목적을 파악하는 데 도움이 됩니다.