Cloud Vision API では、オブジェクト ローカライズを使用して、画像内の複数のオブジェクトを検出して抽出できます。
オブジェクト ローカライズにより、画像内のオブジェクトが識別され、オブジェクトごとに LocalizedObjectAnnotation が指定されます。各 LocalizedObjectAnnotation によって、オブジェクトに関する情報、オブジェクトの位置、画像内でオブジェクトがある領域の枠線が識別されます。
オブジェクト ローカライズでは、画像内で目立っているオブジェクトとそれほど目立たないオブジェクトの両方が識別されます。
オブジェクト情報は英語でのみ返されます。Cloud Translation は、英語のラベルを多数の他言語のいずれかに翻訳できます。
たとえば、この API によって、上記の画像内のオブジェクトに関して以下の情報と境界の位置情報が返されます。
| 名前 | mid | スコア | 境界 |
|---|---|---|---|
| Bicycle wheel | /m/01bqk0 | 0.89648587 | (0.32076266, 0.78941387), (0.43812272, 0.78941387), (0.43812272, 0.97331065), (0.32076266, 0.97331065) |
| Bicycle | /m/0199g | 0.886761 | (0.312, 0.6616471), (0.638353, 0.6616471), (0.638353, 0.9705882), (0.312, 0.9705882) |
| Bicycle wheel | /m/01bqk0 | 0.6345275 | (0.5125398, 0.760708), (0.6256646, 0.760708), (0.6256646, 0.94601655), (0.5125398, 0.94601655) |
| Picture frame | /m/06z37_ | 0.6207608 | (0.79177403, 0.16160682), (0.97047985, 0.16160682), (0.97047985, 0.31348917), (0.79177403, 0.31348917) |
| Tire | /m/0h9mv | 0.55886006 | (0.32076266, 0.78941387), (0.43812272, 0.78941387), (0.43812272, 0.97331065), (0.32076266, 0.97331065) |
| Door | /m/02dgv | 0.5160098 | (0.77569866, 0.37104446), (0.9412425, 0.37104446), (0.9412425, 0.81507325), (0.77569866, 0.81507325) |
mid には、ラベルの Google Knowledge Graph エントリに対応する MID（Machine-generated Identifier）が格納されます。mid の値の調べ方については、Google Knowledge Graph Search API のドキュメントをご覧ください。
コードサンプル
さまざまなプログラミング言語でのサンプルについては、以下をご覧ください。
オブジェクト ローカライズのリクエスト
GCP プロジェクトと認証を設定する
オブジェクトのローカライズ
Powershell
Windows PowerShell を使用してラベル検出のリクエストを出すには、https://vision.googleapis.com/v1/images:annotate エンドポイントに対する POST リクエストを実行し、次の例に示すように features.type の値として OBJECT_LOCALIZATION を指定します。
画像の渡し方は 2 種類あります（Google Cloud Storage URI、HTTPS または HTTP でアクセス可能な公開 URL）。詳しくは、リクエストの実行をご覧ください。
リクエストの本文の構成について詳しくは、AnnotateImageRequest のリファレンス ドキュメントをご覧ください。
$cred = gcloud auth application-default print-access-token
$headers = @{ Authorization = "Bearer $cred" }
Invoke-WebRequest `
-Method Post `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-Body "{
'requests': [
{
'image': {
'source': {
'imageUri': 'https://cloud.google.com/vision/docs/images/bicycle_example.png'
}
},
'features': [
{
'type': 'OBJECT_LOCALIZATION'
}
]
}
]
}" `
-Uri "https://vision.googleapis.com/v1/images:annotate" | Select-Object -Expand Content
curl コマンド
オブジェクトの検出およびローカライズをリクエストするには、次のエンドポイントに POST リクエストを送信します。POST https://vision.googleapis.com/v1/images:annotate
features.type フィールドの値として OBJECT_LOCALIZATION を指定します。
画像の渡し方は 2 種類あります（Google Cloud Storage URI、HTTPS または HTTP でアクセス可能な公開 URL）。詳しくは、リクエストの実行をご覧ください。
リクエストの本文の構成について詳しくは、AnnotateImageRequest のリファレンス ドキュメントをご覧ください。
curl -X POST \
-H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
-H "Content-Type: application/json; charset=utf-8" \
--data "{
'requests': [
{
'image': {
'source': {
'imageUri': 'https://cloud.google.com/vision/docs/images/bicycle_example.png'
}
},
'features': [
{
'type': 'OBJECT_LOCALIZATION'
}
]
}
]
}" "https://vision.googleapis.com/v1/images:annotate"
gcloud コマンド
画像内のラベルを検出するには、次の例に示すように gcloud ml vision detect-objects コマンドを使用します。
gcloud ml vision detect-objects https://cloud.google.com/vision/docs/images/bicycle_example.png
オブジェクト ローカライズのレスポンス
オブジェクト ローカライズのリクエストに対する JSON レスポンスは、次の形式で返されます。
{
"responses": [
{
"localizedObjectAnnotations": [
{
"mid": "/m/01bqk0",
"name": "Bicycle wheel",
"score": 0.89648587,
"boundingPoly": {
"normalizedVertices": [
{
"x": 0.32076266,
"y": 0.78941387
},
{
"x": 0.43812272,
"y": 0.78941387
},
{
"x": 0.43812272,
"y": 0.97331065
},
{
"x": 0.32076266,
"y": 0.97331065
}
]
}
},
{
"mid": "/m/0199g",
"name": "Bicycle",
"score": 0.886761,
"boundingPoly": {
"normalizedVertices": [
{
"x": 0.312,
"y": 0.6616471
},
{
"x": 0.638353,
"y": 0.6616471
},
{
"x": 0.638353,
"y": 0.9705882
},
{
"x": 0.312,
"y": 0.9705882
}
]
}
},
{
"mid": "/m/01bqk0",
"name": "Bicycle wheel",
"score": 0.6345275,
"boundingPoly": {
"normalizedVertices": [
{
"x": 0.5125398,
"y": 0.760708
},
{
"x": 0.6256646,
"y": 0.760708
},
{
"x": 0.6256646,
"y": 0.94601655
},
{
"x": 0.5125398,
"y": 0.94601655
}
]
}
},
{
"mid": "/m/06z37_",
"name": "Picture frame",
"score": 0.6207608,
"boundingPoly": {
"normalizedVertices": [
{
"x": 0.79177403,
"y": 0.16160682
},
{
"x": 0.97047985,
"y": 0.16160682
},
{
"x": 0.97047985,
"y": 0.31348917
},
{
"x": 0.79177403,
"y": 0.31348917
}
]
}
},
{
"mid": "/m/0h9mv",
"name": "Tire",
"score": 0.55886006,
"boundingPoly": {
"normalizedVertices": [
{
"x": 0.32076266,
"y": 0.78941387
},
{
"x": 0.43812272,
"y": 0.78941387
},
{
"x": 0.43812272,
"y": 0.97331065
},
{
"x": 0.32076266,
"y": 0.97331065
}
]
}
},
{
"mid": "/m/02dgv",
"name": "Door",
"score": 0.5160098,
"boundingPoly": {
"normalizedVertices": [
{
"x": 0.77569866,
"y": 0.37104446
},
{
"x": 0.9412425,
"y": 0.37104446
},
{
"x": 0.9412425,
"y": 0.81507325
},
{
"x": 0.77569866,
"y": 0.81507325
}
]
}
}
]
}
]
}