AutoML Vision API를 사용하여 이미지 라벨 지정

빠른 시작에서는 다음과 같은 과정을 안내합니다.

  • 이미지 나열 CSV와 라벨이 있는 경계 상자를 Google Cloud Storage에 복사합니다.
  • AutoML Vision 객체 감지를 사용하여 데이터세트를 만들고, 모델을 학습시키고 배포합니다.

이 빠른 시작에서는 cURL 명령어를 사용하여 AutoML Vision API에 요청을 보냅니다. 빠른 시작: 사용자 인터페이스 사용을 참조해서 사용자 인터페이스의 모든 단계를 완료할 수도 있습니다. UI 또는 API 사용에 대한 자세한 지침은 안내 가이드를 참조하세요.

시작하기 전에

프로젝트 설정

  1. Google Cloud 계정에 로그인합니다. Google Cloud를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.
  2. Google Cloud CLI를 설치합니다.

  3. gcloud CLI를 초기화하려면 다음 명령어를 실행합니다. 

    gcloud init

  4. Google Cloud 프로젝트를 만들거나 선택합니다.

    • Google Cloud 프로젝트를 만듭니다.

      gcloud projects create PROJECT_ID

      PROJECT_ID를 만들려는 Google Cloud 프로젝트의 이름으로 바꿉니다.

    • 만든 Google Cloud 프로젝트를 선택합니다.

      gcloud config set project PROJECT_ID

      PROJECT_ID를 Google Cloud 프로젝트 이름으로 바꿉니다.

  5. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

  6. AutoML and Cloud Storage API를 사용 설정합니다. 

    gcloud services enable storage-component.googleapis.com automl.googleapis.com storage-api.googleapis.com
    7.
  7. Google Cloud CLI를 설치합니다.

  8. gcloud CLI를 초기화하려면 다음 명령어를 실행합니다. 

    gcloud init

  9. Google Cloud 프로젝트를 만들거나 선택합니다.

    • Google Cloud 프로젝트를 만듭니다.

      gcloud projects create PROJECT_ID

      PROJECT_ID를 만들려는 Google Cloud 프로젝트의 이름으로 바꿉니다.

    • 만든 Google Cloud 프로젝트를 선택합니다.

      gcloud config set project PROJECT_ID

      PROJECT_ID를 Google Cloud 프로젝트 이름으로 바꿉니다.

  10. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

  11. AutoML and Cloud Storage API를 사용 설정합니다. 

    gcloud services enable storage-component.googleapis.com automl.googleapis.com storage-api.googleapis.com
    12.
  12. PROJECT_ID 환경 변수를 프로젝트 ID로 설정합니다. 
    export PROJECT_ID=PROJECT_ID
    AutoML API 호출 및 리소스 이름에는 프로젝트 ID가 포함됩니다. PROJECT_ID 환경 변수는 ID를 지정하는 편리한 방법을 제공합니다.

데이터세트 준비

이 빠른 시작에서는 Open Images 데이터세트 V4에서 만든 데이터세트를 사용합니다. 공개적으로 사용 가능한 샐러드 데이터세트가 gs://cloud-ml-data/img/openimage/csv/salads_ml_use.csv에 있습니다.

CSV 형식은 다음과 같습니다.

TRAINING,gs://cloud-ml-data/img/openimage/3/2520/3916261642_0a504acd60_o.jpg,Salad,0.0,0.0954,,,0.977,0.957,,
VALIDATION,gs://cloud-ml-data/img/openimage/3/2520/3916261642_0a504acd60_o.jpg,Seafood,0.0154,0.1538,,,1.0,0.802,,
TEST,gs://cloud-ml-data/img/openimage/3/2520/3916261642_0a504acd60_o.jpg,Tomato,0.0,0.655,,,0.231,0.839,,
데이터세트 이미지 예시
3916261642_0a504acd60_o.jpg

각 행은 큰 이미지 안에서 국지적인 객체에 해당하며 각 객체는 구체적으로 테스트, 학습 또는 유효성 검사 데이터로 지정됩니다. 여기에 포함된 세 줄은 gs://cloud-ml-data/img/openimage/3/2520/3916261642_0a504acd60_o.jpg에서 사용 가능한 동일 이미지 안에 있는 3개의 서로 다른 객체를 표시합니다. 각 행의 라벨은 Salad, Seafood, Tomato이며, Baked goods 또는 Cheese 라벨이 있는 다른 행과는 별개입니다.

왼쪽 상단 및 오른쪽 하단 꼭짓점을 사용하여 각 이미지의 경계 상자가 지정됩니다.

  • (0,0)은 맨 왼쪽 상단 꼭짓점에 해당합니다.
  • (1,1)은 맨 오른쪽 하단 꼭짓점에 해당합니다.

위에 표시된 첫 번째 행의 경우 Salad 라벨 객체의 왼쪽 상단 꼭짓점의 (x, y) 좌표는 (0.0,0.0954)이고 오른쪽 하단 꼭짓점 좌표는 (0.977,0.957)입니다.

CSV 파일의 형식 지정 방법 및 유효한 데이터세트 생성의 최소 요구사항에 대한 자세한 내용은 학습 데이터 준비를 참조하세요.


데이터세트를 만들고 학습 데이터 가져오기

curl 명령어는 gcloud auth print-access-token 명령어를 사용하여 Google 계정의 액세스 토큰을 가져옵니다.

베타 버전의 경우 실제 위치와 관계없이 us-central1을 리전으로 사용합니다.

데이터 세트 만들기

다음 curl 명령어를 사용하여 선택한 표시 이름으로 새 데이터 세트를 만듭니다.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: PROJECT_ID" \
-H "Content-Type: application/json" \
"https://automl.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/datasets" -d '{
    "display_name": "DISPLAY_NAME",
    "image_object_detection_dataset_metadata": {
    }
}'

응답은 다음 단계에 필요한 관련 데이터 세트 ID(예: IOD5491013845671477445)를 반환합니다.

{
  "name": "projects/PROJECT_ID/locations/us-central1/datasets/IOD5491013845671477445",
  "displayName": "DISPLAY_NAME",
  "createTime": "2018-10-29T15:45:53.353442Z",
  "imageObjectDetectionDatasetMetadata": {}
}

데이터 가져오기

학습 데이터를 데이터 세트로 가져옵니다. importData 명령어는 데이터 세트의 URI를 입력으로 사용합니다. 여기에 Salads 데이터 세트가 저장된 공개적으로 사용 가능한 Google Cloud Storage 주소를 제공합니다. 이 과정에는 최대 30분이 소요될 수 있습니다.

  • DATASET_ID를 데이터 세트의 데이터 세트 식별자(표시 이름이 아님)로 바꿉니다. 예를 들면 IOD5491013845671477445입니다.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: PROJECT_ID" \
-H "Content-Type: application/json" \
https://automl.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID:importData \
-d '{
  "input_config": {
    "gcs_source": {
       "input_uris": [
         "gs://cloud-ml-data/img/openimage/csv/salads_ml_use.csv"
        ]
    }
  }
}'

응답은 작업 상태를 가져오는 데 사용할 수 있는 관련 작업 ID(예: IOD1555149246326374411)를 가져옵니다.

{
  "name": "projects/PROJECT_NUMBER/locations/us-central1/operations/IOD1555149246326374411",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.automl.v1beta1.OperationMetadata",
    "createTime": "2018-10-29T15:56:29.176485Z",
    "updateTime": "2018-10-29T15:56:29.176485Z",
    "importDataDetails": {}
  }
}

가져오기 작업의 상태 가져오기

다음 curl 명령어를 사용하여 데이터 가져오기 작업의 상태를 쿼리할 수 있습니다.

  • OPERATION_ID를 데이터 가져오기 작업에서 반환된 작업 ID로 바꿉니다.
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: PROJECT_ID" \
-H "Content-Type: application/json" \
https://automl.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/operations/OPERATION_ID

가져오기 작업을 완료하는 데 다소 시간이 걸릴 수 있습니다. 가져오기 작업이 완료되면 다음 예시와 같이 오류가 없는 작업의 상태에 done: true가 표시됩니다.

이 요청은 데이터 세트 가져오기에 대한 경고도 반환합니다. 이 경고의 예시를 보여주기 위해 데이터 세트에 오류가 추가되었습니다. 이 작업을 사용하여 이러한 경고를 확인하는 방법은 데이터에서 오류를 찾는 데 유용한 방법입니다.

{
  "name": "projects/PROJECT_NUMBER/locations/us-central1/operations/IOD1555149246326374411",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.automl.v1beta1.OperationMetadata",
    "createTime": "2018-10-29T15:56:29.176485Z",
    "updateTime": "2018-10-29T16:10:41.326614Z",
    "importDataDetails": {}
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.protobuf.Empty"
  }
}

데이터 세트 목록 가져오기

다음 명령어를 사용하여 데이터세트 목록을 가져올 수 있습니다.

curl \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: PROJECT_ID" \
https://automl.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/datasets

다음과 비슷한 출력이 표시됩니다.

{
  "datasets": [
    {
      "name": "projects/PROJECT_NUMBER/locations/us-central1/datasets/DATASET_ID1",
      "displayName": "DISPLAY_NAME1",
      "createTime": "2018-10-29T15:45:53.353442Z",
      "exampleCount": 227,
      "imageObjectDetectionDatasetMetadata": {}
    },
    {
      "name": "projects/PROJECT_NUMBER/locations/us-central1/datasets/DATASET_ID2",
      "displayName": "DISPLAY_NAME2",
      "createTime": "2018-10-24T21:06:05.390059Z",
      "exampleCount": 227,
      "imageObjectDetectionDatasetMetadata": {}
    }
  ]
}

모델 학습

모델 학습 애플리케이션 실행

데이터 세트를 만들고 학습 데이터를 데이터 세트로 가져온 후 커스텀 모델을 학습시킬 수 있습니다.

다음 curl 명령어를 사용하여 모델을 학습시킵니다.

  • DATASET_ID를 데이터 세트의 데이터 세트 식별자(표시 이름이 아님)로 바꿉니다.
  • DISPLAY_NAME을 모델에 선택한 이름으로 바꿉니다.
  • image_object_detection_model_metadata.model_type을 지정합니다. 지연 시간 또는 정확성을 최적화하는 옵션은 두 가지입니다.
    • cloud-low-latency-1 - 지연 시간을 기준으로 학습을 최적화합니다.
    • cloud-high-accuracy-1 - 정확도를 기준으로 학습을 최적화합니다.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: PROJECT_ID" \
-H "Content-Type: application/json" \
https://automl.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/models -d '{
  "datasetId": "DATASET_ID",
  "displayName": "DISPLAY_NAME",
  "image_object_detection_model_metadata": {},
}'

학습 작업의 상태를 가져오는 데 사용할 수 있는 학습 모델 작업의 작업 ID(예: IOD5644417707978784777)를 받아야 합니다.

{
  "name": "projects/PROJECT_NUMBER/locations/us-central1/operations/IOD5644417707978784777",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.automl.v1beta1.OperationMetadata",
    "createTime": "2018-10-29T16:41:23.902167Z",
    "updateTime": "2018-10-29T16:41:23.902167Z",
    "createModelDetails": {}
  }
}

학습 과정을 완료하는 데 몇 시간이 걸릴 수 있습니다.

모델 학습 작업의 상태 가져오기

다음 curl 명령어를 사용하여 모델 학습 작업의 상태를 쿼리할 수 있습니다.

  • OPERATION_ID를 학습 작업의 작업 ID로 바꿉니다.
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: PROJECT_ID" \
-H "Content-Type: application/json" \
https://automl.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/operations/OPERATION_ID

다음과 비슷한 출력이 표시됩니다. 작업이 완료되면 오류 없이 done: true가 표시됩니다.


{
  "name": "projects/PROJECT_NUMBER/locations/us-central1/operations/IOD5644417707978784777",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.automl.v1beta1.OperationMetadata",
    "createTime": "2018-10-24T22:08:23.327323Z",
    "updateTime": "2018-10-24T23:41:18.452855Z",
    "createModelDetails": {}
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.automl.v1beta1.Model",
    "name": "projects/PROJECT_NUMBER/locations/us-central1/models/IOD5644417707978784777"
  }
}

모델이 사용 가능한지 확인

모델 학습 작업이 성공적으로 완료되면 프로젝트 모델을 나열하는 다음 명령어를 사용하여 모델을 사용할 수 있는지 확인할 수 있습니다.

curl \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: PROJECT_ID" \
https://automl.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/models

모델의 학습이 완료되면 모델 평가 측정항목을 가져오는 데 사용할 수 있는 모델 ID(예: IOD5644417707978784778)를 받아야 합니다. 다음과 비슷한 출력이 표시됩니다.

{
  "model": [
    {
      "name": "projects/PROJECT_NUMBER/locations/us-central1/models/IOD5644417707978784778",
      "displayName": "DISPLAY_NAME",
      "datasetId": "IOD5491013845671477445",
      "createTime": "2018-10-24T23:37:00.858493Z",
      "updateTime": "2018-10-24T23:37:00.858493Z",
      "deploymentState": "DEPLOYED",
      "imageObjectDetectionModelMetadata": {
          "modelType": "cloud-low-latency-1",
          "nodeCount": "1",
          "nodeQps": 1.2987012987012987
      }
    }
  ]
}

모델 평가

모델이 학습을 마친 후에는 다음 curl 명령어를 사용하여 모델 평가 측정항목을 나열할 수 있습니다.

  • MODEL_ID를 모델의 식별자로 바꿉니다.
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: PROJECT_ID" \
-H "Content-Type: application/json" \
https://automl.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/models/MODEL_ID/modelEvaluations

AutoML Vision 객체 감지는 각 라벨의 평가 측정항목과 함께 모델의 전반적인 성능을 나타내는 평가 측정항목의 집합을 제공하며 다른 임곗값에서 모델 성능이 어떻게 나타나는지를 보여줍니다.

모델 배포

예측을 수행하려면 먼저 모델을 수동으로 배포해야 합니다.

다음 명령어를 사용하여 모델을 배포합니다.

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "x-goog-user-project: PROJECT_ID" \
  -H "Content-Type: application/json" \
  https://automl.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/models/MODEL_ID:deploy \
  -d '{
      "imageObjectDetectionModelDeploymentMetadata": {
        "nodeCount": 2
      }
    }'

예측하기

예측 요청 보내기

배포된 모델을 사용하여 다음 JSON 파일과 curl 명령어로 로컬 이미지에 대한 예측을 수행할 수 있습니다.

  • 이름이 predict_request.json인 JSON 파일을 만들고 "imageBytes" 필드에 Base64로 인코딩된 이미지를 제공합니다.

predict_request.json 

{
    "payload": {
        "image": {
            "image_bytes": "/9j/4QAYRXhpZgAA...base64-encoded-image...9tAVx/zDQDlGxn//2Q=="
        }
    }
}

  • MODEL_ID를 모델의 식별자로 바꿉니다.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: PROJECT_ID" \
-H "Content-Type: application/json" \
"https://automl.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/models/MODEL_ID:predict" -d @PATH_TO_JSON_FILE/predict_request.json

요청이 성공하면 대각선 방향으로 반대인 두 개의 normalizedVertices로 지정된 하나 이상의 경계 상자가 포함된 응답이 반환됩니다. 식별된 각 경계 상자에는 연결된 신뢰도 score와 주석(displayName)이 있습니다.

{
  "payload": [
    {
      "imageObjectDetection": {
        "boundingBox": {
          "normalizedVertices": [
            {
              "x": 0.034553755,
              "y": 0.015524037
            },
            {
              "x": 0.941527,
              "y": 0.9912563
            }
          ]
        },
        "score": 0.9997793
      },
      "displayName": "Salad"
    },
    {
      "imageObjectDetection": {
        "boundingBox": {
          "normalizedVertices": [
            {
              "x": 0.11737197,
              "y": 0.7098793
            },
            {
              "x": 0.510878,
              "y": 0.87987
            }
          ]
        },
        "score": 0.63219965
      },
      "displayName": "Tomato"
    }
  ]
}

모델 배포 취소(선택사항)

모델 배포 중에는 비용이 발생합니다. 모델 호스팅 비용이 발생하지 않도록 하려면 모델 배포를 취소합니다.

다음 명령어를 실행하여 모델 배포를 취소합니다.

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "x-goog-user-project: PROJECT_ID" \
  -H "Content-Type: application/json" \
  "https://automl.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/models/MODEL_ID:undeploy"

삭제

이 페이지에서 사용한 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 Google Cloud 프로젝트를 삭제하면 됩니다.

커스텀 모델 및 관련 데이터세트가 더 이상 필요하지 않으면 삭제할 수 있습니다.

모델 나열

다음 명령어를 사용하여 프로젝트의 모델과 식별자를 나열할 수 있습니다.

curl \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: PROJECT_ID" \
https://automl.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/models

모델 삭제

다음 명령어를 사용하여 모델을 삭제할 수 있습니다.

  • MODEL_ID를 모델의 식별자로 바꿉니다.
curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: PROJECT_ID" \
-H "Content-Type: application/json" \
https://automl.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/models/MODEL_ID

데이터 세트 나열

다음 명령어를 사용하여 프로젝트의 데이터세트와 식별자를 나열할 수 있습니다.

curl \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: PROJECT_ID" \
https://automl.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/datasets

데이터세트 삭제

다음 명령어를 사용하여 데이터 세트를 삭제할 수 있습니다.

  • DATASET_ID를 모델의 식별자로 바꿉니다.
curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: PROJECT_ID" \
-H "Content-Type: application/json" \
https://automl.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID

다음 단계