O Vision Warehouse é uma API que permite aos programadores integrar o armazenamento e a pesquisa baseada em IA de conteúdo multimédia não estruturado (vídeo em streaming, imagens e vídeos em lote) em ferramentas e aplicações existentes.
O Vision Warehouse é um componente importante do Vertex AI Vision. Serve como repositório de armazenamento e oferece capacidades de pesquisa avançadas para vários tipos de dados e exemplos de utilização. Em concreto:
- Streaming de vídeo: pode importar streams de vídeo em direto e dados de estatísticas de vídeo em direto através da aplicação da plataforma Vertex AI Vision ou da API Vision Warehouse e pesquisar imagens através da API Vision Warehouse ou da Google Cloud consola.
- Imagem: pode importar imagens e metadados através da API Vision Warehouse, analisar imagens através da API Vision Warehouse e pesquisar imagens através da API Vision Warehouse ou da consola Google Cloud .
- Vídeo em lote: pode importar vídeos e metadados em lote através da API Vision Warehouse, analisar vídeos em lote através da API Vision Warehouse e pesquisar vídeos em lote através da API Vision Warehouse ou da Google Cloud consola.
Vista geral dos recursos da API
Recursos da API Storage
Corpus: um contentor que contém recursos multimédia de um tipo específico. Pode criar vários conjuntos de dados para organizar diferentes tipos de recursos multimédia.
Recurso: um objeto multimédia armazenado num corpus. Os recursos podem ser imagens, vídeos em lote ou streams de vídeo. Normalmente, um corpus contém muitos recursos do mesmo tipo. Pode especificar anotações associadas a recursos. Os recursos também podem ser agrupados em coleções para gestão.
Coleção: um recurso num corpus que funciona como um contentor de referências a recursos.
Anotação: metadados ou dados fornecidos pelo utilizador derivados do Vertex AI Vision que estão associados a um recurso. Um recurso pode ter várias anotações.
- Exemplo 1: especifique uma anotação de texto denominada "video-title" para recursos de vídeo em lote.
- Exemplo 2: armazene dados analisados de modelos do Vertex AI Vision como anotações. Por exemplo, as etiquetas de reconhecimento de objetos em diferentes intervalos de tempo do vídeo podem ser armazenadas como anotações.
Esquema de dados: define como uma anotação é interpretada num corpus. Um esquema de dados define um tipo de anotação e a respetiva estratégia de pesquisa. Cada anotação tem de estar associada a um esquema de dados.
Recursos da API Search
Índice (disponível para verticais de imagens e vídeos em lote): um recurso ao nível do conjunto de dados que é uma representação gerida de recursos e anotações analisados. Um índice pode ser visto como um conjunto de dados de vetores de incorporação e restrições semânticas que representa o significado do conteúdo multimédia. Os índices podem ser implementados em pontos finais de índice para pesquisa.
Ponto final do índice (disponível para verticais de imagens e vídeos em lote): um ambiente gerido que publica índices do Vision Warehouse. Os pontos finais de índice oferecem um único ponto de acesso para o envio de pedidos de pesquisa.
Configuração de pesquisa: armazena várias propriedades que afetam os comportamentos de pesquisa e os resultados da pesquisa.
- Propriedade de atributo (disponível para vídeo de streaming vertical): cria uma configuração para ativar os resultados da pesquisa do histograma com base em atributos.
- Propriedade de critérios de pesquisa (disponível para verticais de vídeo em streaming e vídeo em lote): cria um mapeamento entre um critério de pesquisa personalizado e uma ou mais chaves do esquema de dados.
Pesquisar hiperónimo: um tipo específico de configuração de pesquisa que lhe permite personalizar a capacidade do serviço de pesquisa de reconhecer hiperónimos de palavras. Por exemplo, os utilizadores podem especificar "animal" como um hiperónimo de "gato" e "cão". A pesquisa de "animal" também devolve resultados com "gato" e "cão" nos dados do índice.
Idiomas suportados
O Batch Video Warehouse e o Image Warehouse suportam os seguintes idiomas para a pesquisa semântica:
- Inglês
- Espanhol
- Português
- Francês
- Japonês
- Chinês
O Streaming Warehouse não tem restrições de idioma.
O que se segue?
- Compreenda os fluxos de utilizador da API principais para cada vertical de multimédia: streaming de vídeo, imagem e vídeo em lote.
- Explore as quotas e os limites do Vision Warehouse.
- Familiarize-se com os preços.
- Descubra como obter apoio técnico.