Información sobre las respuestas de búsqueda y la detección múltiple

Product Search de la API de Vision puede detectar y encontrar productos que coincidan con un solo producto de una imagen de búsqueda, o bien identificar y enumerar productos que coincidan con varios productos si están presentes en la imagen.

Imágenes con un solo producto y respuesta

Esta imagen de búsqueda contiene un solo producto.

gs://cloud-ai-vision-data/product-search-tutorial/images/468f782e70ba11e8941fd20059124800.jpg

Cuando se buscan productos similares con la API de Vision Product Search, se muestra una respuesta que indica dos cuadros de límite en la imagen: uno alrededor del producto y el otro alrededor de toda la imagen.

Expande la siguiente sección para ver la respuesta completa.

Respuesta completa

Nota: Valores de coordenadas cero omitidos. Cuando la API detecta un valor de coordenada (“x” o “y”) de 0, esa coordenada se omite en la respuesta JSON. Por lo tanto, una respuesta con un polígono de límite alrededor de toda la imagen sería
[{}, {“x”: 1}, {“x”: 1, “y”: 1}, {“y”: 1}]. Para obtener más información, consulta la documentación de referencia de la API.

{
  "responses": [
    {
      "productSearchResults": {
        "indexTime": "2018-12-04T22:33:53.673600055Z",
        "results": [
          {
            "product": {
              "name": "projects/project-id/locations/location-id/products/product_id16",
              "displayName": " ",
              "productCategory": "apparel",
              "productLabels": [
                {
                  "key": "style",
                  "value": "women"
                },
                {
                  "key": "category",
                  "value": "dress"
                }
              ]
            },
            "score": 1,
            "image": "projects/project-id/locations/location-id/products/product_id16/referenceImages/image16"
          },
          {
            "product": {
              "name": "projects/project-id/locations/location-id/products/product_id29",
              "displayName": " ",
              "productCategory": "apparel",
              "productLabels": [
                {
                  "key": "style",
                  "value": "women"
                },
                {
                  "key": "category",
                  "value": "dress"
                }
              ]
            },
            "score": 0.34263745,
            "image": "projects/project-id/locations/location-id/products/product_id29/referenceImages/image29"
          },
          ...
          {
            "product": {
              "name": "projects/project-id/locations/location-id/products/product_id89",
              "displayName": " ",
              "productCategory": "apparel",
              "productLabels": [
                {
                  "key": "style",
                  "value": "women"
                },
                {
                  "key": "category",
                  "value": "dress"
                }
              ]
            },
            "score": 0.20485385,
            "image": "projects/project-id/locations/location-id/products/product_id89/referenceImages/image89"
          }
        ],
        "productGroupedResults": [
          {
            "boundingPoly": {
              "normalizedVertices": [
                {
                  "x": 0.25610325,
                  "y": 0.1357359
                },
                {
                  "x": 0.77213204,
                  "y": 0.1357359
                },
                {
                  "x": 0.77213204,
                  "y": 0.9287346
                },
                {
                  "x": 0.25610325,
                  "y": 0.9287346
                }
              ]
            },
            "results": [
              {
                "product": {
                  "name": "projects/project-id/locations/location-id/products/product_id16",
                  "displayName": " ",
                  "productCategory": "apparel",
                  "productLabels": [
                    {
                      "key": "style",
                      "value": "women"
                    },
                    {
                      "key": "category",
                      "value": "dress"
                    }
                  ]
                },
                "score": 1,
                "image": "projects/project-id/locations/location-id/products/product_id16/referenceImages/image16"
              },
              {
                "product": {
                  "name": "projects/project-id/locations/location-id/products/product_id29",
                  "displayName": " ",
                  "productCategory": "apparel",
                  "productLabels": [
                    {
                      "key": "style",
                      "value": "women"
                    },
                    {
                      "key": "category",
                      "value": "dress"
                    }
                  ]
                },
                "score": 0.3345438,
                "image": "projects/project-id/locations/location-id/products/product_id29/referenceImages/image29"
              },
              ...
              {
                "product": {
                  "name": "projects/project-id/locations/location-id/products/product_id76",
                  "displayName": " ",
                  "productCategory": "apparel",
                  "productLabels": [
                    {
                      "key": "style",
                      "value": "women"
                    },
                    {
                      "key": "category",
                      "value": "shoe"
                    }
                  ]
                },
                "score": 0.20218614,
                "image": "projects/project-id/locations/location-id/products/product_id76/referenceImages/image76"
              }
            ]
          },
          {
            "boundingPoly": {
              "normalizedVertices": [
                {},
                {
                  "x": 1
                },
                {
                  "x": 1,
                  "y": 1
                },
                {
                  "y": 1
                }
              ]
            },
            "results": [
              {
                "product": {
                  "name": "projects/project-id/locations/location-id/products/product_id16",
                  "displayName": " ",
                  "productCategory": "apparel",
                  "productLabels": [
                    {
                      "key": "style",
                      "value": "women"
                    },
                    {
                      "key": "category",
                      "value": "dress"
                    }
                  ]
                },
                "score": 1,
                "image": "projects/project-id/locations/location-id/products/product_id16/referenceImages/image16"
              },
              {
                "product": {
                  "name": "projects/project-id/locations/location-id/products/product_id29",
                  "displayName": " ",
                  "productCategory": "apparel",
                  "productLabels": [
                    {
                      "key": "style",
                      "value": "women"
                    },
                    {
                      "key": "category",
                      "value": "dress"
                    }
                  ]
                },
                "score": 0.3507311,
                "image": "projects/project-id/locations/location-id/products/product_id29/referenceImages/image29"
              },
              {
                "product": {
                  "name": "projects/project-id/locations/location-id/products/product_id8",
                  "displayName": " ",
                  "productCategory": "apparel",
                  "productLabels": [
                    {
                      "key": "style",
                      "value": "women"
                    },
                    {
                      "key": "category",
                      "value": "dress"
                    }
                  ]
                },
                "score": 0.26709077,
                "image": "projects/project-id/locations/location-id/products/product_id8/referenceImages/image8"
              },
              ...
              {
                "product": {
                  "name": "projects/project-id/locations/location-id/products/product_id51",
                  "displayName": " ",
                  "productCategory": "apparel",
                  "productLabels": [
                    {
                      "key": "style",
                      "value": "women"
                    },
                    {
                      "key": "category",
                      "value": "dress"
                    }
                  ]
                },
                "score": 0.21597815,
                "image": "projects/project-id/locations/location-id/products/product_id51/referenceImages/image51"
              }
            ]
          }
        ]
      }
    }
  ]
}

Cuadros de límite y productos coincidentes

Los dos productos siguientes (cuadros de límite) de la imagen se especifican mediante los dos conjuntos de vértices que se muestran en la solicitud.

Los productos que coinciden se enumeran para cada cuadro identificado por Product Search de la API de Vision.

gs://cloud-samples-data/product_search/multiple_dresses.jpg

En la respuesta de la API, los cuadros de límite y los resultados de los productos coincidentes se enumeran en el campo productGroupedResults. Se agrupan por productos detectados en una imagen. Cada entrada boundingPoly enumera la región especificada con vértices normalizados (en una escala del 0 al 1, que no corresponde con los valores de píxeles reales de la imagen). Luego se enumeran los productos coincidentes para esa región específica.

La siguiente sección de la respuesta corresponde al cuadro de límite alrededor del vestido.

Sección de la respuesta del cuadro de un solo producto

....
        "productGroupedResults": [
          {
            "boundingPoly": {
              "normalizedVertices": [
                {
                  "x": 0.25610325,
                  "y": 0.1357359
                },
                {
                  "x": 0.77213204,
                  "y": 0.1357359
                },
                {
                  "x": 0.77213204,
                  "y": 0.9287346
                },
                {
                  "x": 0.25610325,
                  "y": 0.9287346
                }
              ]
            },
            "results": [
              {
                "product": {
                  "name": "projects/project-id/locations/location-id/products/product_id16",
                  "displayName": " ",
                  "productCategory": "apparel",
                  "productLabels":...
                "score": 1,
                ...

Los productos coincidentes se enumerarán después del campo results y se clasificarán por puntuación de coincidencia en orden descendente. La puntuación va desde 0 (sin confianza) a 1 (confianza total).

Several matching products for the dress

El otro boundingPoly que se muestra en la respuesta se encuentra alrededor de toda la imagen. Sus vértices normalizados se enumeran de la siguiente manera:

• [{},{"x": 1},{"x": 1,"y": 1},{"y": 1}]

Cuando los valores de coordenadas son 0, se omiten. Por lo tanto, el polígono de límite que se especifica antes corresponde a lo siguiente:

• [{"x": 0,"y": 0},{"x": 1, "y": 0},{"x": 1,"y": 1},{"y": 1}]

Los productos coincidentes se enumeran de manera similar para este cuadro de límite (la imagen completa).

Imágenes con varios productos (detección múltiple) y respuesta

La siguiente imagen de búsqueda contiene varios productos.

gs://cloud-samples-data/product_search/multiple_dresses.jpg

Cuando se usa la API de Vision Product Search para buscar productos similares, se muestra una respuesta que identifica varios cuadros de límite en la imagen: uno para toda la imagen y otros tres para cada uno de los tres vestidos.

Expande la siguiente sección para ver la respuesta completa.

Respuesta completa

Nota: Valores de coordenadas cero omitidos. Cuando la API detecta un valor de coordenada (“x” o “y”) de 0, esa coordenada se omite en la respuesta JSON. Por lo tanto, una respuesta con un polígono de límite alrededor de toda la imagen sería
[{}, {“x”: 1}, {“x”: 1, “y”: 1}, {“y”: 1}]. Para obtener más información, consulta la documentación de referencia de la API.

{
  "responses": [
    {
      "productSearchResults": {
        "indexTime": "2018-12-05T18:34:22.231193168Z",
        "results": [
          {
            "product": {
              "name": "projects/project-id/locations/location-id/products/product_id89",
              "displayName": " ",
              "productCategory": "apparel",
              "productLabels": [
                {
                  "key": "style",
                  "value": "women"
                },
                {
                  "key": "category",
                  "value": "dress"
                }
              ]
            },
            "score": 0.40636745,
            "image": "projects/project-id/locations/location-id/products/product_id89/referenceImages/image89"
          },
          {
            "product": {
              "name": "projects/project-id/locations/location-id/products/product_id56",
              "displayName": " ",
              "productCategory": "apparel",
              "productLabels": [
                {
                  "key": "style",
                  "value": "women"
                },
                {
                  "key": "category",
                  "value": "dress"
                }
              ]
            },
            "score": 0.35433072,
            "image": "projects/project-id/locations/location-id/products/product_id56/referenceImages/image56"
          },
          ...
          {
            "product": {
              "name": "projects/project-id/locations/location-id/products/product_id92",
              "displayName": " ",
              "productCategory": "apparel",
              "productLabels": [
                {
                  "key": "style",
                  "value": "women"
                },
                {
                  "key": "category",
                  "value": "dress"
                }
              ]
            },
            "score": 0.30736163,
            "image": "projects/project-id/locations/location-id/products/product_id92/referenceImages/image92"
          }
        ],
        "productGroupedResults": [
          {
            "boundingPoly": {
              "normalizedVertices": [
                {
                  "x": 0.38727918,
                  "y": 0.10391616
                },
                {
                  "x": 0.57177967,
                  "y": 0.10391616
                },
                {
                  "x": 0.57177967,
                  "y": 0.94973093
                },
                {
                  "x": 0.38727918,
                  "y": 0.94973093
                }
              ]
            },
            "results": [
              {
                "product": {
                  "name": "projects/project-id/locations/location-id/products/product_id39",
                  "displayName": " ",
                  "productCategory": "apparel",
                  "productLabels": [
                    {
                      "key": "style",
                      "value": "women"
                    },
                    {
                      "key": "category",
                      "value": "dress"
                    }
                  ]
                },
                "score": 0.36689043,
                "image": "projects/project-id/locations/location-id/products/product_id39/referenceImages/image39"
              },
              {
                "boundingPoly": {
                  "normalizedVertices": [
                    {
                      "x": 0.63010275,
                      "y": 0.08650439
                    },
                    {
                      "x": 0.88989735,
                      "y": 0.08650439
                    },
                    {
                      "x": 0.88989735,
                      "y": 0.9285545
                    },
                    {
                      "x": 0.63010275,
                      "y": 0.9285545
                    }
                  ]
                },
                "results": [
                  {
                    "product": {
                      "name": "projects/project-id/locations/location-id/products/product_id89",
                      "displayName": " ",
                      "productCategory": "apparel",
                      "productLabels": [
                        {
                          "key": "style",
                          "value": "women"
                        },
                        {
                          "key": "category",
                          "value": "dress"
                        }
                      ]
                    },
                    "score": 0.4007347,
                    "image": "projects/project-id/locations/location-id/products/product_id89/referenceImages/image89"
                  },
                  ...
                  {
                    "product": {
                      "name": "projects/project-id/locations/location-id/products/product_id30",
                      "displayName": " ",
                      "productCategory": "apparel",
                      "productLabels": [
                        {
                          "key": "style",
                          "value": "women"
                        },
                        {
                          "key": "category",
                          "value": "dress"
                        }
                      ]
                    },
                    "score": 0.27045864,
                    "image": "projects/project-id/locations/location-id/products/product_id30/referenceImages/image30"
                  },
                  ...
                  {
                    "product": {
                      "name": "projects/project-id/locations/location-id/products/product_id63",
                      "displayName": " ",
                      "productCategory": "apparel",
                      "productLabels": [
                        {
                          "key": "style",
                          "value": "women"
                        },
                        {
                          "key": "category",
                          "value": "dress"
                        }
                      ]
                    },
                    "score": 0.23139484,
                    "image": "projects/project-id/locations/location-id/products/product_id63/referenceImages/image63"
                  }
                ]
              },
              ...
              {
                "boundingPoly": {
                  "normalizedVertices": [
                    {},
                    {
                      "x": 1
                    },
                    {
                      "x": 1,
                      "y": 1
                    },
                    {
                      "y": 1
                    }
                  ]
                },
                "results": [
                  {
                    "product": {
                      "name": "projects/project-id/locations/location-id/products/product_id30",
                      "displayName": " ",
                      "productCategory": "apparel",
                      "productLabels": [
                        {
                          "key": "style",
                          "value": "women"
                        },
                        {
                          "key": "category",
                          "value": "dress"
                        }
                      ]
                    },
                    "score": 0.39522344,
                    "image": "projects/project-id/locations/location-id/products/product_id30/referenceImages/image30"
                  },
                  ...
                  {
                    "product": {
                      "name": "projects/project-id/locations/location-id/products/product_id4",
                      "displayName": " ",
                      "productCategory": "apparel",
                      "productLabels": [
                        {
                          "key": "style",
                          "value": "women"
                        },
                        {
                          "key": "category",
                          "value": "dress"
                        }
                      ]
                    },
                    "score": 0.34226564,
                    "image": "projects/project-id/locations/location-id/products/product_id4/referenceImages/image4"
                  }
                ]
              },
              {
                "boundingPoly": {
                  "normalizedVertices": [
                    {
                      "x": 0.030102689,
                      "y": 0.067680866
                    },
                    {
                      "x": 0.28942674,
                      "y": 0.067680866
                    },
                    {
                      "x": 0.28942674,
                      "y": 0.94973093
                    },
                    {
                      "x": 0.030102689,
                      "y": 0.94973093
                    }
                  ]
                },
                "results": [
                  {
                    "product": {
                      "name": "projects/project-id/locations/location-id/products/product_id89",
                      "displayName": " ",
                      "productCategory": "apparel",
                      "productLabels": [
                        {
                          "key": "style",
                          "value": "women"
                        },
                        {
                          "key": "category",
                          "value": "dress"
                        }
                      ]
                    },
                    "score": 0.42439392,
                    "image": "projects/project-id/locations/location-id/products/product_id89/referenceImages/image89"
                  },
                  ...
                  {
                    "product": {
                      "name": "projects/project-id/locations/location-id/products/product_id51",
                      "displayName": " ",
                      "productCategory": "apparel",
                      "productLabels": [
                        {
                          "key": "style",
                          "value": "women"
                        },
                        {
                          "key": "category",
                          "value": "dress"
                        }
                      ]
                    },
                    "score": 0.26797917,
                    "image": "projects/project-id/locations/location-id/products/product_id51/referenceImages/image51"
                  }
                ]
              }
            ]
          }
        }
      ]
}

Cuadros de límite y productos coincidentes

En la siguiente imagen, se muestran todos los cuadros de límite identificados por la API de Vision Product Search en una imagen de varios productos.

gs://cloud-samples-data/product_search/multiple_dresses.jpg

Al igual que con una imagen de un solo producto, la respuesta de una imagen con varios productos enumera cuadros de límite y resultados de productos coincidentes en el campo productGroupedResults. Cada producto se identifica con un polígono de límite, y las coincidencias se agrupan por producto detectado.

La siguiente sección de la respuesta corresponde al cuadro de límite alrededor del vestido del medio.

Sección de la respuesta del cuadro del producto (vestido del medio)

"productGroupedResults": [
          {
            "boundingPoly": {
              "normalizedVertices": [
                {
                  "x": 0.38727918,
                  "y": 0.10391616
                },
                {
                  "x": 0.57177967,
                  "y": 0.10391616
                },
                {
                  "x": 0.57177967,
                  "y": 0.94973093
                },
                {
                  "x": 0.38727918,
                  "y": 0.94973093
                }
              ]
            },
            "results": [
              {
                "product": {
                  "name":...
                "score": 0.36689043,
                ...

En la siguiente imagen, se ven algunas de las coincidencias con el vestido del medio que muestra la API de Vision Product Search.

Several matching products for the middle dress

Los siguientes cuadros de límite aparecen en la imagen, cada uno con su propia lista de productos coincidentes (no incluidos aquí):

• Vestido de la izquierda: {"x":0.03, "y":0.07},{"x":0.29, "y":0.07},{"x":0.29, "y":0.95},{"x":0.03, "y":0.95}
• Vestido de la derecha: {"x":0.63, "y":0.09},{"x":0.89, "y":0.09},{"x":0.89, "y":0.93},{"x":0.63, "y":0.93}
• Imagen completa:
  • {},{"x": 1},{"x": 1,"y": 1},{"y": 1}, que también se expresa de la siguiente manera:
  • {"x": 0, "y": 0},{"x": 1,"y:0"},{"x": 1,"y": 1},{"x": 0,"y": 1}