Acerca das apps e das lojas de dados

Esta página descreve as apps de pesquisa e os repositórios de dados do Vertex AI.

Com a Vertex AI Search, cria uma app de pesquisa ou recomendações e associa-a a um repositório de dados. Um Google Cloud projeto pode conter várias apps.

Relação entre apps e repositórios de dados

A relação entre as apps e os repositórios de dados depende do tipo de app:

  • As apps de pesquisa personalizadas têm uma relação muitos-para-muitos com os arquivos de dados. Quando vários armazenamentos de dados estão ligados a uma única app de pesquisa personalizada, isto é denominado pesquisa combinada. Para informações sobre as limitações da ligação de uma app de pesquisa a mais do que uma base de dados, consulte o artigo Acerca da pesquisa combinada.

  • Uma app de recomendações personalizada tem uma ligação um-para-um com o respetivo repositório de dados.

  • Uma app de multimédia tem uma relação de muitos-para-um com o respetivo armazenamento de dados. Uma app só pode ser associada a um arquivo de dados, enquanto um determinado arquivo de dados pode ser associado a várias apps. Por exemplo, uma app de pesquisa de multimédia e uma app de recomendações de multimédia podem partilhar um repositório de dados.

  • Uma app de pesquisa de cuidados de saúde tem uma relação de muitos para um com o respetivo repositório de dados. Uma app só pode ser associada a um arquivo de dados, enquanto um determinado arquivo de dados pode ser associado a várias apps. Por exemplo, uma app para pacientes e uma app para fornecedores podem ligar-se à mesma base de dados.

    Para uma importação de dados em lote de dados de cuidados de saúde, os dados são importados para um arquivo de dados que se encontra numa app. Para a importação de dados de streaming (pré-visualização) de dados de cuidados de saúde, os dados são importados para uma entidade, que é um tipo de arquivo de dados que se encontra num conetor de dados. Um conetor de dados também é um tipo de armazenamento de dados que se encontra numa app.

Depois de uma loja de dados ser associada a uma app, não é possível desassociá-la.

Método de criação de apps e carregamento de dados

A forma como cria uma app e carrega dados depende do tipo de dados que tem:

  • Para dados de Websites, pode usar a Google Cloud consola ou a API. Para usar dados de Websites criados com a API, tem de anexá-los a uma app com funcionalidades empresariais ativadas na Google Cloud consola.

  • Para dados estruturados ou não estruturados, pode usar aGoogle Cloud consola ou a API.

  • Para dados de cuidados de saúde, pode usar a Google Cloud consola ou a API.

Documentos

Cada arquivo de dados tem um ou mais registos de dados, denominados documentos. O que um documento representa varia consoante o tipo de dados no arquivo de dados:

  • Website. Um documento é uma página Web.

  • Dados estruturados. Um documento é uma linha numa tabela ou um registo JSON que segue um esquema específico. Pode fornecer este esquema ou permitir que as aplicações de IA derivem o esquema dos dados carregados.

  • Dados estruturados para conteúdo multimédia. Um documento é uma linha numa tabela ou um registo JSON que segue um esquema específico dos meios de comunicação. Os documentos são registos relativos a conteúdo multimédia, como vídeos, artigos de notícias, ficheiros de música e podcasts. Um documento contém informações que descrevem o item multimédia, no mínimo: título, URI para a localização do conteúdo, categorias, duração e data disponível.

  • Dados não estruturados. Um documento é um ficheiro no formato HTML, PDF com texto incorporado ou TXT. Os formatos PPTX e DOCX estão disponíveis na pré-visualização.

  • Dados FHIR de cuidados de saúde. Um documento é um recurso FHIR R4 suportado. Para ver uma lista de recursos FHIR R4 que a Vertex AI Search suporta, consulte a referência do esquema de dados FHIR R4 de cuidados de saúde.

Armazenamentos de dados e apps

Nas aplicações de IA, existem vários tipos de repositórios de dados. Um arquivo de dados só pode conter um tipo de dados.

Dados do Website

Um arquivo de dados com dados de Websites usa dados indexados de Websites públicos. Pode fornecer um conjunto de padrões de URL que quer incluir no seu repositório de dados. As páginas Web que se enquadram nos padrões de URL são denominadas páginas Web incluídas. Em seguida, pode configurar a pesquisa sobre os dados rastreados das páginas Web incluídas.

Por exemplo, pode fornecer padrões de URL, como example.com/faq/* e example.com/events/*, e ativar a pesquisa nos dados rastreados destas páginas Web que se enquadram no padrão. Estes dados incluem texto, imagens etiquetadas com metadados e outros dados estruturados, como etiquetas, atributos PageMap e dados schema.org.meta

Também pode fornecer padrões de URL para partes de Websites que quer excluir, por exemplo, example.com/events/members-only/* ou example.com/events/past-*. Os URLs excluídos têm prioridade sobre os incluídos.

Existem dois tipos de armazenamentos de dados de Websites:

  • Pesquisa básica de websites:

    • Oferece capacidades de pesquisa no índice da Pesquisa Google existente para os websites incluídos.
    • Não requer a validação de domínio.

  • Indexação avançada de Websites:

    • Oferece capacidades de pesquisa avançada num índice gerado com base num dos seguintes:
      • Os proprietários da app Vertex AI Search podem controlar as páginas Web que são indexadas através do envio e da manutenção de mapas do site. Para mais informações, consulte o artigo Indexe e atualize páginas Web através de mapas do site. Este processo mantém o índice atualizado sem intervenção manual.
      • Os proprietários da app Vertex AI Search podem realizar uma indexação inicial que espelha o índice da Pesquisa Google e, em seguida, expandir a cobertura do índice voltar a rastrear os Websites sempre que necessário, mantendo-o atualizado. Para mais informações, consulte o artigo Atualize páginas Web. As capacidades avançadas da indexação avançada de Websites estão listadas no artigo Indexação avançada de Websites.
    • Exige que os proprietários de arquivos de dados do Vertex AI Search validem os domínios aos quais os Websites incluídos pertencem. Para mais informações, consulte o artigo Valide domínios de Websites.
    • Oferece a capacidade de adicionar dados estruturados ao esquema do repositório de dados. Um Website contém dados não estruturados, mas pode adicionar dados estruturados sob a forma de etiquetas meta, atributos PageMap e dados schema.org às suas páginas Web. Em seguida, pode usar estes dados estruturados para editar o esquema do arquivo de dados, conforme explicado no artigo Use dados estruturados para a indexação avançada de Websites.

O que se segue?

Para a pesquisa em Websites:

Dados estruturados

Um repositório de dados com dados estruturados permite a pesquisa semântica ou recomendações sobre dados estruturados. Pode importar dados do BigQuery ou do Cloud Storage. Também pode carregar manualmente dados JSON estruturados através da API.

Por exemplo, pode ativar a pesquisa ou as recomendações num catálogo de produtos para a sua experiência de comércio eletrónico ou num diretório de médicos para a pesquisa de fornecedores ou recomendações.

As aplicações de IA detetam automaticamente o esquema dos dados que importa. Opcionalmente, pode fornecer um esquema para os seus dados. Fornecer um esquema para os seus dados melhora normalmente a qualidade dos resultados.

O que se segue?

Para a pesquisa personalizada:

Para recomendações personalizadas:

Dados estruturados para conteúdo multimédia

As apps de multimédia só podem ser associadas a arquivos de dados de multimédia. Os arquivos de dados multimédia são arquivos de dados estruturados com um esquema definido pela Google ou com o seu próprio esquema personalizado que contém um conjunto específico de cinco campos relacionados com multimédia. Para mais informações sobre o esquema, consulte o artigo Acerca dos documentos multimédia e das lojas de dados.

Por exemplo, pode ativar as recomendações criando uma app de recomendações de multimédia para um catálogo de filmes ou um site de notícias, para que os utilizadores recebam sugestões adequadas e personalizadas.

Além dos documentos multimédia, os arquivos de dados multimédia também contêm as informações de eventos do utilizador que permitem ao Vertex AI Search personalizar as recomendações e a pesquisa para os seus utilizadores. Os eventos de utilizador são obrigatórios para apps de multimédia. Para obter informações sobre eventos do utilizador, consulte o artigo Registe eventos do utilizador em tempo real.

O que se segue?

Dados não estruturados

Um armazenamento de dados não estruturados permite a pesquisa semântica sobre dados, como documentos e imagens.

Os armazenamentos de dados não estruturados suportam documentos nos formatos HTML, PDF com texto incorporado e TXT. Os formatos PPTX e DOCX estão disponíveis na pré-visualização.

A Pesquisa fornece resultados sob a forma de 10 URLs e respostas resumidas para consultas de linguagem natural. Os documentos têm de ser carregados para um contentor do Cloud Storage com as autorizações de acesso adequadas. Por exemplo, uma instituição financeira pode ativar a pesquisa no respetivo conjunto privado de publicações de investigação financeira, ou uma empresa de biotecnologia pode ativar a pesquisa ou as recomendações no respetivo repositório privado de investigação médica.

O que se segue?

Para a pesquisa:

Dados FHIR de cuidados de saúde

Uma app de pesquisa de cuidados de saúde usa dados FHIR R4 importados de um FHIR store da Cloud Healthcare API. Para ver uma lista de recursos FHIR R4 suportados pelo Vertex AI Search, consulte a referência do esquema de dados FHIR R4 do setor de saúde. Um repositório de dados FHIR R4 tem de satisfazer alguns requisitos antes de poder ser usado como uma origem de dados para o repositório de dados do Vertex AI Search. Para mais informações, consulte como preparar dados FHIR de cuidados de saúde para carregamento.

O que se segue?

Acerca da pesquisa mista

Pode criar uma app de pesquisa combinada, onde várias lojas de dados podem ser associadas a uma única app de pesquisa personalizada. Esta funcionalidade permite-lhe usar uma app para pesquisar em várias origens e tipos de dados.

Para criar uma app de pesquisa combinada, selecione várias origens de dados quando criar uma nova app de pesquisa personalizada. Se não selecionar várias origens de dados durante a criação, não pode adicionar origens de dados adicionais mais tarde.

Quando recebe resultados da pesquisa, pode pesquisar em todas as lojas de dados ou filtrar os resultados de uma única loja de dados.

Aplicam-se as seguintes limitações:

  • Adicionar e remover arquivos de dados:
    • Para ativar a pesquisa combinada para uma app, tem de associar, pelo menos, duas lojas de dados à mesma durante a criação da app.
    • Pode adicionar ou remover arquivos de dados de uma app de pesquisa combinada, mas a app não pode ter menos de dois arquivos de dados associados em qualquer altura.
    • Se associar um único arquivo de dados a uma app de pesquisa durante a criação da app, não pode adicionar nem remover esse arquivo de dados.
  • Os armazenamentos de dados de Websites têm de ter a indexação avançada de Websites ativada para serem usados na pesquisa combinada. Para mais informações, consulte o artigo Indexação avançada de Websites.
  • Os armazenamentos de dados que contêm dados não estruturados importados através do BigQuery não são suportados.
  • A pesquisa combinada permite os seguintes campos em pedidos de pesquisa:
    • boostSpec
    • contentSearchSpec
    • dataStoreSpecs
    • facetSpecs
    • filter
    • languageCode
    • offset
    • oneBoxPageSize
    • orderBy
    • query
    • pageSize
    • pageToken
    • relevanceScoreSpec
    • relevanceThreshold
    • session
    • sessionSpec
    • spellCorrectionSpec
    • userInfo
    • userPseudoId
  • A pesquisa combinada permite os seguintes campos em dataStoreSpecs:
    • dataStore
    • boostSpec: se existirem especificações de aumento especificadas para SearchRequest e dataStoreSpecs, ambas as especificações de aumento são aplicadas aos resultados da pesquisa
    • filter: se existirem filtros especificados para SearchRequest e dataStoreSpecs, ambos os filtros são aplicados aos resultados da pesquisa
  • As operações de criação, leitura, atualização e eliminação (CRUD) em configurações de publicação são suportadas para apps misturadas. Só é possível adicionar ou atualizar os seguintes campos numa configuração de publicação:
    • boostControlIds
    • displayName
    • filterControlIds
    • genericConfig:
      • contentSearchSpec
    • name
    • solutionType
    • synonymsControlIds
  • As operações CRUD nos seguintes controlos são suportadas para apps de pesquisa combinada:
    • boostAction
    • synonymAction
    • filterAction
  • Existe um limite de 50 armazéns de dados por app de pesquisa.
  • Se um arquivo de dados usar uma configuração de CMEK, todos os outros arquivos de dados também têm de usar a mesma configuração de CMEK.