Sincronizar do Cloud SQL

Para ingerir dados do Cloud SQL, siga estas etapas para configurar o acesso ao Cloud SQL, criar um repositório de dados e ingerir dados.

Configurar o acesso ao bucket de staging para instâncias do Cloud SQL

Ao ingerir dados do Cloud SQL, eles são primeiro armazenados em um bucket do Cloud Storage. Siga estas etapas para dar a uma instância do Cloud SQL acesso a buckets do Cloud Storage.

  1. No console Google Cloud , acesse a página SQL.

    SQL

  2. Clique na instância do Cloud SQL de onde você quer importar.

  3. Copie o identificador da conta de serviço da instância, que se parece com um endereço de e-mail, por exemplo, p9876-abcd33f@gcp-sa-cloud-sql..

  4. Acesse a página IAM e administrador.

    IAM e administrador

  5. Clique em Conceder acesso.

  6. Em Novos principais, insira o identificador da conta de serviço da instância e selecione o papel Cloud Storage > Administrador de armazenamento.

  7. Clique em Salvar.

Próximo:

Configurar o acesso ao Cloud SQL de outro projeto

Para dar ao Gemini Enterprise acesso aos dados do Cloud SQL em um projeto diferente, siga estas etapas:

  1. Substitua a variável PROJECT_NUMBER pelo número do projeto do Gemini Enterprise e copie o conteúdo do bloco de código. Este é o identificador da sua conta de serviço do Gemini Enterprise:

    service-PROJECT_NUMBER@gcp-sa-discoveryengine.
    
  2. Acesse a página IAM e administrador.

    IAM e administrador

  3. Mude para seu projeto do Cloud SQL na página IAM e administrador e clique em Conceder acesso.

  4. Em Novos principais, insira o identificador da conta de serviço e selecione o papel Cloud SQL > Leitor do Cloud SQL.

  5. Clique em Salvar.

Em seguida, acesse Importar dados do Cloud SQL.

Importar dados do Cloud SQL

Console

Para usar o console e ingerir dados do Cloud SQL, siga estas etapas:

  1. No console Google Cloud , acesse a página Gemini Enterprise.

    Gemini Enterprise

  2. Acesse a página Repositório de dados.

  3. Clique em Criar armazenamento de dados.

  4. Na página Selecionar uma fonte de dados, escolha Cloud SQL.

  5. Especifique o ID do projeto, da instância, do banco de dados e da tabela dos dados que você planeja importar.

  6. Clique em Procurar e escolha um local intermediário do Cloud Storage para exportar os dados. Depois, clique em Selecionar. Ou insira o local diretamente no campo gs://.

  7. Selecione se quer ativar a exportação sem servidor. A exportação sem servidor gera custos adicionais. Para informações sobre a exportação sem servidor, consulte Minimizar o impacto das exportações no desempenho na documentação do Cloud SQL.

  8. Clique em Continuar.

  9. Escolha uma região para o repositório de dados.

  10. Insira um nome para o repositório de dados.

  11. Clique em Criar.

  12. Para verificar o status da ingestão, acesse a página Repositórios de dados e clique no nome do repositório de dados para conferir os detalhes na página Dados. Quando a coluna de status na guia Atividade mudar de Em andamento para Importação concluída, a ingestão será concluída.

    Dependendo do tamanho dos dados, a ingestão pode levar de vários minutos a várias horas.

REST

Para usar a linha de comando e criar um repositório de dados e ingerir dados do Cloud SQL, siga estas etapas:

  1. Crie um repositório de dados.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \
    -d '{
      "displayName": "DISPLAY_NAME",
      "industryVertical": "GENERIC",
      "solutionTypes": ["SOLUTION_TYPE_SEARCH"],
    }'
    

    Substitua:

    • PROJECT_ID: ID do projeto.
    • DATA_STORE_ID: o ID do repositório de dados. O ID pode conter apenas letras minúsculas, dígitos, sublinhados e hífens.
    • DISPLAY_NAME: o nome de exibição do repositório de dados. Isso pode ser exibido no console do Google Cloud .
  2. Importe dados do Cloud SQL.

      curl -X POST \
      -H "Authorization: Bearer $(gcloud auth print-access-token)" \
      -H "Content-Type: application/json" \
      "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \
      -d '{
        "cloudSqlSource": {
          "projectId": "SQL_PROJECT_ID",
          "instanceId": "INSTANCE_ID",
          "databaseId": "DATABASE_ID",
          "tableId": "TABLE_ID",
          "gcsStagingDir": "STAGING_DIRECTORY"
        },
        "reconciliationMode": "RECONCILIATION_MODE",
        "autoGenerateIds": "AUTO_GENERATE_IDS",
        "idField": "ID_FIELD",
      }'
    

    Substitua:

    • PROJECT_ID: o ID do seu projeto do Gemini Enterprise.
    • DATA_STORE_ID: o ID do repositório de dados. O ID só pode conter letras minúsculas, dígitos, sublinhados e hífens.
    • SQL_PROJECT_ID: o ID do seu projeto do Cloud SQL.
    • INSTANCE_ID: o ID da sua instância do Cloud SQL.
    • DATABASE_ID: o ID do banco de dados do Cloud SQL.
    • TABLE_ID: o ID da sua tabela do Cloud SQL.
    • STAGING_DIRECTORY: opcional. Um diretório do Cloud Storage, por exemplo, gs://<your-gcs-bucket>/directory/import_errors.
    • RECONCILIATION_MODE: opcional. Os valores são FULL e INCREMENTAL. O padrão é INCREMENTAL. Especificar INCREMENTAL causa uma atualização incremental de dados do Cloud SQL para seu repositório de dados. Isso faz uma operação de upsert, que adiciona novos documentos e substitui os documentos existentes por documentos atualizados com o mesmo ID. Especificar FULL causa uma rebase completa dos documentos no repositório de dados. Em outras palavras, documentos novos e atualizados são adicionados ao repositório de dados, e os documentos que não estão no Cloud SQL são removidos dele. O modo FULL é útil se você quiser excluir automaticamente documentos que não precisa mais.

Próximas etapas

  • Para anexar seu repositório de dados a um app, crie um app e selecione o repositório seguindo as etapas em Criar um app de pesquisa.

  • Para ver como os resultados da pesquisa aparecem depois que o app e o repositório de dados são configurados, consulte Visualizar resultados da pesquisa.