Receba fragmentos e conteúdo extraído

O Vertex AI Search pode fornecer fragmentos de pesquisa, respostas extrativas e segmentos extrativos com cada resposta de pesquisa para melhorar os seus resultados.

  • Fragmentos: um fragmento é um breve excerto de texto do documento do resultado da pesquisa que oferece uma pré-visualização do conteúdo de um resultado da pesquisa. Inclui o realce de resultados que pode renderizar na sua IU. Normalmente, os fragmentos são apresentados abaixo de cada resultado da pesquisa para ajudar os utilizadores finais a avaliar a relevância e a utilidade desse resultado. Os fragmentos estão disponíveis para arquivos de dados com dados não estruturados e dados de Websites (tanto a pesquisa básica de Websites como a indexação avançada de Websites).

  • Respostas extrativas: uma resposta extrativa é um texto literal que é devolvido com cada resultado da pesquisa. É extraído diretamente do documento original. As respostas extrativas são normalmente apresentadas perto da parte superior das páginas Web para fornecer a um utilizador final uma resposta breve que seja contextualmente relevante para a respetiva consulta. As respostas extrativas estão disponíveis para arquivos de dados com dados não estruturados e com indexação avançada de Websites.

  • Segmentos extrativos: um segmento extrativo é um texto literal que é devolvido com cada resultado da pesquisa. Normalmente, um segmento extrativo é mais detalhado do que uma resposta extrativa. Os segmentos extrativos podem ser apresentados como resposta a uma consulta e podem ser usados para realizar tarefas de pós-processamento e como entrada para grandes modelos de linguagem para gerar respostas ou novo texto. Os segmentos extrativos estão disponíveis para armazenamentos de dados com dados não estruturados e com indexação avançada de Websites.

Exemplos

Os exemplos seguintes ajudam a ilustrar as diferenças entre fragmentos, respostas extrativas e segmentos extrativos.

Consultar: "o que são aplicações de IA?"

  • Fragmento:

    Para tal, anunciamos as nossas novas aplicações de IA, a forma mais rápida de os programadores começarem a criar apps de geração, como bots, …

  • Resposta extrativa:

    As aplicações de IA permitem aos programadores enviar rapidamente novas experiências, incluindo bots, interfaces de chat, motores de pesquisa personalizados, assistentes digitais e muito mais. Os programadores têm acesso à API aos modelos de base da Google e podem usar modelos prontos a usar para iniciar rapidamente a criação de apps de gen em minutos ou horas.

  • Segmento extrativo:

    As empresas e os governos também querem tornar as interações com clientes, parceiros e funcionários mais eficazes e úteis com esta nova tecnologia de IA. Para ativar esta funcionalidade, anunciamos as nossas novas aplicações de IA.

    As aplicações de IA permitem aos programadores enviar rapidamente novas experiências, incluindo bots, interfaces de chat, motores de pesquisa personalizados, assistentes digitais e muito mais. Os programadores têm acesso à API aos modelos de base da Google e podem usar modelos prontos a usar para iniciar rapidamente a criação de apps de gen em minutos ou horas. Com as aplicações de IA, os programadores também:

    • Combinar dados organizacionais e técnicas de obtenção de informações para fornecer respostas relevantes.
    • Pesquise e responda com mais do que apenas texto.
    • Combine conversas naturais com fluxos estruturados.
    • Não se limite a informar: faça transações.

Antes de começar

Consoante o tipo de app que tiver, conclua os seguintes pré-requisitos:

Fragmentos

Os fragmentos são pequenos excertos extraídos literalmente de cada documento de resultado da pesquisa. Incluem o realce de ocorrências em tags HTML em negrito para a renderização de pré-visualizações de resultados da pesquisa numa IU. Normalmente, os fragmentos são renderizados como texto de pré-visualização abaixo de um resultado da pesquisa para ajudar os utilizadores finais a decidir se clicar nesse resultado da pesquisa será útil.

Os fragmentos estão disponíveis para pesquisas não estruturadas e em Websites.

Obtenha fragmentos

Para obter fragmentos:

  1. Envie um pedido de pesquisa que inclua ContentSearchSpec.SnippetSpec e defina returnSnippet como verdadeiro.

    O exemplo seguinte de SnippetSpec especifica que um fragmento pode ser devolvido para cada resultado da pesquisa.

    "contentSearchSpec":
{
  "snippetSpec":
  {
    "returnSnippet": true
  }
}
    • returnSnippet: se estiver definido como true, devolve um fragmento.

  2. Obtenha fragmentos da resposta da pesquisa. Os fragmentos são devolvidos com cada resultado da pesquisa em derivedStructData.snippets.

    Neste exemplo de um documento que foi devolvido como um dos resultados numa resposta de pesquisa, é incluído um fragmento com o realce de ocorrências em negrito no resultado:

    {
  "id": "54321",
  "document": {
    "name": "projects/123/locations/global/collections/default_collection/dataStores/example-datastore/branches/0/documents/54321",
    "id": "54321",
    "derivedStructData": {
      "link": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2008_google_annual_report.pdf",
      "snippets": [
        {
          "snippet": "Google Chrome. Google Chrome is an open-source browser that combines a minimal design with technologies to make the web faster, safer, and easier to navigate.",
          "snippet_status": "SUCCESS"
        }
      ]
    }
  }
}
    • snippet: contém um fragmento gerado para o resultado da pesquisa de documentos. O realce de resultados está incluído em etiquetas HTML a negrito.
    • snippet_status: se for gerado um fragmento, este campo é devolvido como SUCCESS. Se não for gerado nenhum fragmento, este campo é devolvido como NO_SNIPPET_AVAILABLE.

Respostas extrativas

Uma resposta extrativa é uma secção de texto derivada literalmente de um documento. Quando um documento é devolvido como resultado da pesquisa numa resposta de pesquisa, pode ser devolvida uma resposta extrativa relevante com esse resultado.

Uma resposta extrativa pode ser texto, como um parágrafo, uma tabela ou uma lista com marcas, que é extraído do documento do resultado da pesquisa. As respostas extrativas são mais curtas do que os segmentos extrativos.

As respostas extrativas podem ser usadas como alternativa às respostas resumidas nos casos em que as respostas precisas e textuais são preferíveis aos resumos reformulados.

As respostas extrativas estão disponíveis para arquivos de dados com dados não estruturados e com a indexação avançada de Websites.

Obtenha respostas extrativas

Para obter respostas extrativas:

  1. Envie um pedido de pesquisa que use ContentSearchSpec.extractiveContentSpec para especificar maxExtractiveAnswerCount.

    O exemplo seguinte de extractiveContentSpec especifica que pode ser devolvida uma resposta para cada resultado da pesquisa.

    "contentSearchSpec":
{
  "extractiveContentSpec": {
    "maxExtractiveAnswerCount": 1
  }
}
    • maxExtractiveAnswerCount: o número de respostas extrativas a devolver para cada resultado da pesquisa. O valor predefinido é 0 e o máximo é 5.

  2. Receba respostas extrativas da resposta da pesquisa. As respostas extrativas são devolvidas com cada resultado da pesquisa em extractive_answers.

    Neste exemplo de um documento que foi devolvido como um dos resultados numa resposta de pesquisa, foi incluída uma resposta extrativa com o resultado:

    {
  "id": "54321",
  "document": {
    "name": "projects/123/locations/global/collections/default_collection/dataStores/example-datastore/branches/0/documents/54321",
    "id": "54321",
    "derivedStructData": {
      "extractive_answers": [
        {
          "pageNumber": "2",
          "content": "Google saw growth throughout the year both in our domestic business and internationally, both on Google owned sites and on the Google Network. Specifically, revenues from Google owned sites increased 101% on a year over year basis, from $792 million to $1.6 billion."
        }
      ],
      "link": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2004Q4_earnings_google.pdf"
    }
}
}
    • pageNumber: se for possível extrair números de páginas do documento, este campo indica de onde foi extraída a resposta.
    • content: o conteúdo da resposta extrativa.

Segmentos extrativos

Um segmento extrativo é uma secção de texto extraída literalmente de um documento de resultado da pesquisa. Os segmentos extrativos são semelhantes às respostas extrativas, mas normalmente são mais completos e detalhados. Normalmente, os segmentos de extração são usados como entrada para os seus próprios GMLs para gerar respostas ou novo texto.

Os segmentos extrativos podem ser vários parágrafos, incluindo texto formatado, como tabelas e listas com marcas.

Os segmentos de extração estão disponíveis para arquivos de dados com dados não estruturados e com indexação avançada de Websites.

Opções de segmentos extrativos

Estão disponíveis as seguintes opções para segmentos extrativos:

  • Número de segmentos: pode especificar até 10 segmentos extrativos a devolver para cada resultado da pesquisa.

  • Pontuações de relevância: as pontuações de relevância baseiam-se na semelhança da consulta com o segmento extraído. Pode especificar que os segmentos extrativos sejam devolvidos com classificações de relevância. As pontuações variam entre -1,0 (menos relevante) e 1,0 (mais relevante). A ativação das classificações de relevância pode aumentar a latência.

  • Segmentos adjacentes: pode definir numPreviousSegments e numNextSegments para receber até 3 segmentos imediatamente antes e depois do segmento relevante. Os segmentos adjacentes podem adicionar contexto e precisão ao segmento relevante.

    A ativação de segmentos adjacentes pode aumentar a latência.

Obtenha segmentos extrativos

Os passos seguintes mostram como obter segmentos extrativos para dados não estruturados. Pode seguir passos semelhantes para obter segmentos extrativos para dados de Websites.

  1. Envie um pedido de pesquisa que use ContentSearchSpec.extractiveContentSpec para especificar maxExtractiveSegmentCount.

    O exemplo seguinte de extractiveContentSpec especifica que pode ser devolvido um segmento para cada resultado da pesquisa.

    "contentSearchSpec":
{
  "extractiveContentSpec": {
    "maxExtractiveSegmentCount": 1
  }
}
    • maxExtractiveSegmentCount: o número de segmentos extrativos a devolver para cada resultado da pesquisa. O valor predefinido é 0 e o máximo é 10.

    Opções adicionais:

    • returnExtractiveSegmentScore: defina como true para devolver uma pontuação de relevância com cada segmento devolvido.
    • numPreviousSegments: O número de segmentos adjacentes a devolver antes do segmento relevante. O valor predefinido é 0 e o valor máximo é 3. A utilização de segmentos adjacentes pode aumentar a latência.
    • numNextSegments: O número de segmentos adjacentes a devolver após o segmento relevante. O valor predefinido é 0 e o valor máximo é 3. A utilização de segmentos adjacentes pode aumentar a latência.

    Para mais informações sobre estas opções, consulte as opções de segmentos extrativos.

  2. Obtenha segmentos da resposta de pesquisa. Os segmentos são devolvidos com cada resultado da pesquisa em extractive_segments.

    Neste exemplo de um documento que foi devolvido como um dos resultados numa resposta de pesquisa, foi incluído um segmento com o resultado:

    {
  "id": "54321",
  "document": {
    "name": "projects/123/locations/global/collections/default_collection/dataStores/example-datastore/branches/0/documents/54321",
    "id": "54321",
    "derivedStructData": {
      "extractive_segments": [
        {
          "pageNumber": "2",
          "content": "Client\nGoogle Toolbar. Google Toolbar is a free application that adds a Google search box to web browsers (Internet\nExplorer and Firefox) and improves user web experience through features such as a pop-up blocker that blocks\npop-up advertising, an autofill feature that completes web forms with information saved on a user's computer, and\ncustomizable buttons that let users search their favorite web sites and stay updated on their favorite feeds.\n\nGoogle Chrome. Google Chrome is an open-source browser that combines a minimal design with\ntechnologies to make the web faster, safer, and easier to navigate.\nGoogle Pack. Google Pack is a free collection of safe, useful software programs from Google and other\ncompanies that improve the user experience online and on the desktop. It includes programs that help users\nbrowse the web faster, remove spyware and viruses.\n\nPicasa. Picasa is a free service that allows users to view, manage and share their photos. Picasa enables users\nto import, organize and edit their photos, and upload them to Picasa Web Albums where the photos can be shared\nwith others on the internet.\n\nGoogle Desktop. Google Desktop lets people perform a full-text search on the contents of their own\ncomputer, including email, files, instant messenger chats and web browser history. Users can view web pages they\nhave visited even when they are not online. Google Desktop also includes a customizable Sidebar that includes\nmodules for weather, stock tickers and news.\n\n5"
        }
      ],
      "link": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2004Q4_earnings_google.pdf"
    }
}
}
    • pageNumber: se for possível extrair números de páginas do documento, este campo indica de onde foi extraída a resposta.
    • content: o conteúdo do segmento extrativo.

O que se segue?