O Vision Warehouse é uma API que permite aos desenvolvedores integrar armazenamento e pesquisa baseada em IA de conteúdo de mídia não estruturado (streaming de vídeo, imagens e vídeos em lote) em ferramentas e aplicativos existentes.
O Vision Warehouse é um componente importante da Vertex AI Vision. Ele serve como repositório de armazenamento e oferece recursos de pesquisa avançados para vários tipos de dados e casos de uso. Especificamente:
- Vídeo por streaming: é possível importar transmissões de vídeo ao vivo e dados de análise de vídeo ao vivo usando o aplicativo da plataforma Vertex AI Vision ou a API Vision Warehouse e pesquisar imagens usando a API Vision Warehouse ou o Google Cloud console.
- Imagem: é possível importar imagens e metadados usando a API Vision Warehouse, analisar imagens usando a API Vision Warehouse e pesquisar imagens usando a API Vision Warehouse ou o console Google Cloud .
- Vídeo em lote: é possível importar vídeos e metadados em lote usando a API Vision Warehouse, analisar vídeos em lote usando a API Vision Warehouse e pesquisar vídeos em lote usando a API Vision Warehouse ou o Google Cloud console.
Visão geral dos recursos da API
Recursos da API Storage
Corpus: um contêiner que armazena recursos de mídia de um tipo específico. É possível criar vários corpora para organizar diferentes tipos de recursos de mídia.
Recurso: um objeto de mídia armazenado em um corpus. Os recursos podem ser imagens, vídeos em lote ou transmissões de vídeo. Um corpus normalmente contém muitos recursos do mesmo tipo. É possível especificar anotações associadas aos recursos. Os recursos também podem ser agrupados em coleções para gerenciamento.
Coleção: um recurso em um corpus que funciona como um contêiner de referências a recursos.
Anotação: metadados fornecidos pelo usuário ou dados derivados do Vertex AI Vision associados a um recurso. Um recurso pode ter várias anotações.
- Exemplo 1: especifique uma anotação de texto chamada "video-title" para recursos de vídeo em lote.
- Exemplo 2: armazene dados analisados dos modelos da Vertex AI Vision como anotações. Por exemplo, os rótulos de reconhecimento de objetos em diferentes intervalos de tempo do vídeo podem ser armazenados como anotações.
Esquema de dados: define como uma anotação é interpretada em um corpus. Um esquema de dados define um tipo de anotação e a estratégia de pesquisa dela. Cada anotação precisa ser associada a um esquema de dados.
Recursos da API Search
Índice (disponível para setores de imagem e vídeo em lote): um recurso no nível do corpus que é uma representação gerenciada de recursos e anotações analisadas. Um índice pode ser considerado um conjunto de dados de vetores de embedding e restrições semânticas que representam o significado do conteúdo de mídia. Os índices podem ser implantados em endpoints de índice para pesquisa.
Endpoint de índice (disponível para setores de imagens e vídeos em lote): um ambiente gerenciado que serve índices do Vision Warehouse. Os endpoints de índice fornecem um único ponto de acesso para enviar solicitações de pesquisa.
Configuração da pesquisa: armazena várias propriedades que afetam os comportamentos e os resultados da pesquisa.
- Propriedade de faceta (disponível para streaming de vídeo vertical): cria uma configuração para ativar os resultados de pesquisa de histograma com base em facetas.
- Propriedade de critérios de pesquisa (disponível para setores de streaming de vídeo e vídeo em lote): cria um mapeamento entre um critério de pesquisa personalizado e uma ou mais chaves de esquema de dados.
Hipônimo de pesquisa: um tipo específico de configuração de pesquisa que permite personalizar a capacidade do serviço de pesquisa de reconhecer hiperônimos de palavras. Por exemplo, os usuários podem especificar "animal" como um hiperônimo de "gato" e "cachorro". A pesquisa por "animal" também vai retornar resultados com "gato" e "cachorro" nos dados do índice.
Idiomas disponíveis
O Batch Video Warehouse e o Image Warehouse oferecem suporte aos seguintes idiomas para pesquisa semântica:
- Inglês
- Espanhol
- Português
- Francês
- Japonês
- Chinês
O Streaming Warehouse não tem restrição de idioma.
A seguir
- Entenda os principais fluxos de usuários da API para cada vertical de mídia: streaming de vídeo, imagem e vídeo em lote.
- Conheça as cotas e os limites do Vision Warehouse.
- Conheça os preços.
- Descubra como receber suporte.