Modelo de pesquisa de vetor do Bigtable para a Vertex AI

O modelo do Bigtable para arquivos de pesquisa de vetores da Vertex AI no Cloud Storage cria um pipeline em lote que lê dados de uma tabela do Bigtable e os grava em um bucket do Cloud Storage no formato JSON. Use esse modelo para embeddings vetoriais.

Requisitos de pipeline

  • A tabela do Bigtable precisa existir.
  • O bucket de saída do Cloud Storage precisa existir antes da execução do pipeline.

Parâmetros do modelo

Parâmetros obrigatórios

  • bigtableProjectId: o ID do projeto do Google Cloud que contém a instância do Bigtable em que você quer ler os dados.
  • bigtableInstanceId: o ID da instância do Bigtable que contém a tabela.
  • bigtableTableId: o ID da tabela do Bigtable que será lida.
  • outputDirectory: o caminho do Cloud Storage em que os arquivos JSON de saída são armazenados. Exemplo: gs://your-bucket/your-path/.
  • idColumn: nome da coluna totalmente qualificada em que o ID está armazenado. No formato cf:col ou _key.
  • embeddingColumn: nome da coluna totalmente qualificada em que os embeddings são armazenados. No formato cf:col ou _key.

Parâmetros opcionais

  • filenamePrefix: o prefixo do nome do arquivo JSON. Por exemplo: "table1-". Se nenhum valor for fornecido, o padrão será "part".
  • crowdingTagColumn: o nome da coluna totalmente qualificado em que a tag de distanciamento está armazenada. No formato cf:col ou _key.
  • embeddingByteSize: o tamanho do byte de cada entrada na matriz de embeddings. Para ponto flutuante, use o valor 4. Para duplo, use o valor 8. O padrão é 4.
  • allowRestrictsMappings: os nomes de coluna totalmente qualificados, separados por vírgulas das colunas a serem usadas como restrições, com os respectivos aliases. No formato cf:col->alias.
  • denyRestrictsMappings: os nomes de coluna totalmente qualificados, separados por vírgulas das colunas a serem usadas como restrições, com os respectivos aliases. No formato cf:col->alias.
  • intNumericRestrictsMappings: os nomes de coluna totalmente qualificados e separados por vírgulas das colunas a serem usadas como numeric_restricts inteiros, com os respectivos aliases. No formato cf:col->alias.
  • floatNumericRestrictsMappings: os nomes de coluna totalmente qualificados, separados por vírgulas, das colunas a serem usadas como numeric_restricts flutuantes (4 bytes), com os respectivos aliases. No formato cf:col->alias.
  • doubleNumericRestrictsMappings: os nomes de coluna totalmente qualificados e separados por vírgulas das colunas a serem usadas como numeric_restricts duplos (8 bytes), com os respectivos aliases. No formato cf:col->alias.
  • bigtableAppProfileId: o ID do perfil do aplicativo do Cloud Bigtable a ser usado na exportação. O valor padrão é: "Padrão".

Executar o modelo

Console

  1. Acesse a página Criar job usando um modelo do Dataflow.
    2. Acesse Criar job usando um modelo
  2. No campo Nome do job, insira um nome exclusivo.
  3. Opcional: em Endpoint regional, selecione um valor no menu suspenso. A região padrão é us-central1.

    Para ver uma lista de regiões em que é possível executar um job do Dataflow, consulte Locais do Dataflow.

  4. No menu suspenso Modelo do Dataflow, selecione the Cloud Bigtable to Vector Embeddings template.
  5. Nos campos de parâmetro fornecidos, insira os valores de parâmetro.
  6. Cliquem em Executar job.

CLI da gcloud

No shell ou no terminal, execute o modelo:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Bigtable_to_Vector_Embeddings \
    --project=PROJECT_ID \
    --region=REGION_NAME \
    --parameters \
       bigtableProjectId=BIGTABLE_PROJECT_ID,\
       bigtableInstanceId=BIGTABLE_INSTANCE_ID,\
       bigtableTableId=BIGTABLE_TABLE_ID,\
       filenamePrefix=FILENAME_PREFIX,\
       idColumn=ID_COLUMN,\
       embeddingColumn=EMBEDDING_COLUMN,\

Substitua:

  • JOB_NAME: um nome de job de sua escolha
  • VERSION: a versão do modelo que você quer usar

    Use estes valores:

  • REGION_NAME: a região em que você quer implantar o job do Dataflow, por exemplo, us-central1
  • BIGTABLE_PROJECT_ID: o ID do projeto
  • BIGTABLE_INSTANCE_ID: o ID da instância
  • BIGTABLE_TABLE_ID: o ID da tabela
  • FILENAME_PREFIX: o prefixo do arquivo JSON
  • ID_COLUMN: a coluna de ID
  • EMBEDDING_COLUMN: a coluna de embeddings

API

Para executar o modelo usando a API REST, envie uma solicitação HTTP POST. Para mais informações sobre a API e os respectivos escopos de autorização, consulte projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Bigtable_to_Vector_Embeddings
{
   "jobName": "JOB_NAME",
   "parameters": {
     "bigtableProjectId": "BIGTABLE_PROJECT_ID",
     "bigtableInstanceId": "BIGTABLE_INSTANCE_ID",
     "bigtableTableId": "BIGTABLE_TABLE_ID",
     "filenamePrefix": "FILENAME_PREFIX",
     "idColumn": "ID_COLUMN",
     "embeddingColumn": "EMBEDDING_COLUMN",
   },
   "environment": { "maxWorkers": "10" }
}

Substitua:

  • PROJECT_ID: o ID do projeto do Google Cloud em que você quer executar o job do Dataflow
  • JOB_NAME: um nome de job de sua escolha
  • VERSION: a versão do modelo que você quer usar

    Use estes valores:

  • LOCATION: a região em que você quer implantar o job do Dataflow, por exemplo, us-central1
  • BIGTABLE_PROJECT_ID: o ID do projeto
  • BIGTABLE_INSTANCE_ID: o ID da instância
  • BIGTABLE_TABLE_ID: o ID da tabela
  • FILENAME_PREFIX: o prefixo do arquivo JSON
  • ID_COLUMN: a coluna de ID
  • EMBEDDING_COLUMN: a coluna de embeddings

A seguir