Para criar um repositório de dados e transferir dados para recomendações genéricas, acesse a seção da fonte que você planeja usar:
URLs de sites
Console
Para usar o console do Google Cloud para criar um armazenamento de dados e indexar dados de um site, siga estas etapas:
No Console do Google Cloud, acesse a página Criador de agentes.
No menu de navegação, clique em Repositórios de dados.
Clique em Novo repositório de dados.
Na página Selecione uma fonte de dados, escolha Conteúdo do site.
Escolha se você quer ativar a Indexação avançada de sites para esse repositório de dados. Não será possível desativar essa opção depois.
A indexação avançada de sites oferece recursos adicionais, como resumo de pesquisa, pesquisa com acompanhamento e respostas de extração. A indexação avançada de sites tem um custo adicional e exige que você verifique a propriedade do domínio de qualquer site que você indexar. Para mais informações, consulte Indexação avançada de sites e Preços.
No campo Sites a incluir, especifique os URLs dos sites que você quer indexar. Inclua um URL por linha, sem separadores por vírgula.
Opcional: no campo Sites a serem excluídos, insira os sites que você quer excluir do app.
Clique em Continuar.
Insira um nome para o repositório de dados.
Selecione um local para o repositório de dados. A indexação avançada de sites deve ser ativada para selecionar um local.
Clique em Criar. O Vertex AI Agent Builder cria e exibe seus repositórios de dados na página Repositórios de dados.
Para acessar informações sobre seu repositório de dados, clique no nome dele na coluna Nome. Sua página de repositório de dados é exibida.
Se você ativou a Indexação avançada de sites, um aviso vai aparecer solicitando que você verifique a propriedade do domínio. Se você tiver um déficit de cota (o de páginas nos sites que você especificou excede o "Número de documentos por projeto" cota para seu projeto), e um aviso adicional será exibido solicitando que você faça upgrade da cota. O as etapas a seguir mostram como verificar a propriedade do domínio e fazer o upgrade a cota de ingestão de registros.
Para verificar a propriedade do domínio, siga estas etapas:
- Clique em Verificar no Google Search Console. A página Welcome to the Google Search Console aparece.
- Siga as instruções na tela para verificar um domínio ou um prefixo de URL, dependendo se você está verificando um domínio inteiro ou um prefixo de URL que faz parte de um domínio. Para mais informações, consulte Verificar a propriedade do site na Ajuda do Search Console.
- Quando terminar o fluxo de trabalho de verificação de domínio, volte para a Agent Builder e clique em Repositórios de dados no menu de navegação.
- Clique no nome do repositório de dados na coluna Nome. Seu repositório de dados é exibida.
- Clique em Atualizar status para atualizar os valores na coluna Status. A coluna Status do seu site indica que a indexação está em o progresso.
- Repita as etapas de verificação de domínio para cada site que exige a verificação do domínio até que todos iniciem a indexação. Quando a coluna Status de um URL mostra Indexado, os recursos de indexação avançada de sites estão disponíveis para esse URL ou padrão de URL.
Para fazer upgrade da sua cota, siga estas etapas:
- Clique em Fazer upgrade da cota. O painel API Discovery Engine será exibido, selecione a guia Cotas.
- Siga as instruções em Solicitar um limite de cota maior na documentação do Google Cloud. O aumentar é o Número de documentos.
- Depois de enviar a solicitação para um limite de cota maior, volte para a página Agent Builder e clique em Repositórios de dados no menu de navegação.
- Clique no nome do repositório de dados na coluna Nome. o status; indica que a indexação dos sites que ultrapassaram a cota está em andamento. Quando a coluna Status de um URL mostra Indexado, os recursos de indexação avançada de sites estão disponíveis para esse URL ou padrão de URL.
Próximas etapas
Para anexar o repositório de dados a um app, crie um app e selecione o repositório de dados seguindo as etapas em Criar um app de recomendações genéricas.
Para visualizar como suas recomendações aparecem depois que o app e o repositório de dados são configurar, consulte Receba recomendações.
BigQuery
Para ingerir dados do BigQuery, siga as etapas abaixo para criar um repositório de dados e ingerir dados usando o console do Google Cloud ou a API.
Antes de importar seus dados, revise Preparar os dados para ingestão.
Console
Para usar o console do Google Cloud para ingerir dados do BigQuery, siga estas etapas:
No Console do Google Cloud, acesse a página Criador de agentes.
Acesse a página Repositórios de dados.
Clique em Novo repositório de dados.
Na página Tipo, selecione BigQuery.
No campo Caminho do BigQuery, clique em Procurar, selecione uma tabela que você preparou para ingestão e clique em Selecionar. Se preferir, insira o local da tabela diretamente no caminho do BigQuery. .
Selecione o tipo de dados que você está importando.
Clique em Continuar.
Se você estiver fazendo uma importação única de dados estruturados:
Associe campos a propriedades principais.
Se houver campos importantes ausentes no esquema, use Adicionar novo campo para adicioná-los.
Para mais informações, consulte Sobre a detecção e edição automáticas.
Clique em Continuar.
Escolha uma região para o repositório de dados.
Insira um nome para o repositório de dados.
Clique em Criar.
Para confirmar que o repositório de dados foi criado, acesse a página Repositórios de dados e clique no nome do repositório para conferir os detalhes na página Dados.
Para verificar o status do seu processamento, acesse a página Repositórios de dados. e clique no nome do repositório de dados para ver detalhes sobre ele na página Dados. Quando a coluna de status na guia Atividade muda de Em andamento para Importação concluída, a transferência é concluída.
Dependendo do tamanho dos dados, a ingestão pode demorar minutos ou várias horas.
REST
Para usar a linha de comando e importar dados do BigQuery, siga estas etapas:
Crie um repositório de dados.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DATA_STORE_DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_RECOMMENDATION"] }'
Substitua:
PROJECT_ID
: o ID do seu projeto do Google Cloud.DATA_STORE_ID
: o ID do repositório de dados de recomendações que você quer criar. Esse ID só pode conter letras minúsculas, dígitos, sublinhados e hifens.DATA_STORE_DISPLAY_NAME
: o nome de exibição do repositório de dados de recomendações que você quer criar.
Opcional: se você estiver fazendo upload de dados estruturados com seu próprio esquema, poderá fornecer o esquema. Quando você fornece o esquema, normalmente obtém resultados melhores. Caso contrário, o esquema é detectado automaticamente. Para mais informações, consulte Fornecer ou detectar automaticamente um esquema.
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/schemas/default_schema" \ -d '{ "structSchema": JSON_SCHEMA_OBJECT }'
Substitua:
PROJECT_ID
: o ID do seu projeto do Google Cloud.DATA_STORE_ID
: o ID do repositório de dados de recomendações.JSON_SCHEMA_OBJECT
: seu esquema JSON como um objeto JSON, por exemplo:{ "$schema": "https://json-schema.org/draft/2020-12/schema", "type": "object", "properties": { "title": { "type": "string", "keyPropertyMapping": "title" }, "categories": { "type": "array", "items": { "type": "string", "keyPropertyMapping": "category" } }, "uri": { "type": "string", "keyPropertyMapping": "uri" } } }
Importe dados do BigQuery.
Se você definiu um esquema, verifique se os dados estão em conformidade com ele.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "bigquerySource": { "projectId": "PROJECT_ID", "datasetId":"DATASET_ID", "tableId": "TABLE_ID", "dataSchema": "DATA_SCHEMA", }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", "errorConfig": { "gcsPrefix": "ERROR_DIRECTORY" } }'
Substitua:
PROJECT_ID
: o ID do seu projeto do Google Cloud.DATA_STORE_ID
: o ID do repositório de dados de recomendações.DATASET_ID
: o ID do BigQuery. no conjunto de dados.TABLE_ID
: o ID da tabela do BigQuery.- Se a tabela do BigQuery não estiver em
PROJECT_ID
, você precisa dar à conta de serviçoservice-<project number>@gcp-sa-discoveryengine.iam.gserviceaccount.com
"Leitor de dados do BigQuery" para o Tabela do BigQuery. Por exemplo, se você importar uma tabela do BigQuery do projeto de origem "123" para ao projeto de destino "456", forneçaservice-456@gcp-sa-discoveryengine.iam.gserviceaccount.com
permissões para a tabela do BigQuery em o projeto "123".
- Se a tabela do BigQuery não estiver em
DATA_SCHEMA
: opcional. Os valores sãodocument
ecustom
. O padrão édocument
.document
: a tabela do BigQuery que você usa precisa estar em conformidade com o esquema padrão do BigQuery fornecido em Preparar dados para transferência. Você pode definir o ID de cada documento, encerrando todos os dados na string jsonData.custom
: qualquer esquema de tabela do BigQuery é aceito, e as recomendações geram automaticamente os IDs de cada documento importado.
ERROR_DIRECTORY
: opcional. Um diretório do Cloud Storage para informações de erro sobre a importação, por exemplo,gs://<your-gcs-bucket>/directory/import_errors
. Recomendações do Google deixando este campo em branco para que as Recomendações criar automaticamente um diretório temporário.RECONCILIATION_MODE
: opcional. Os valores sãoFULL
eINCREMENTAL
. O padrão éINCREMENTAL
. Como especificarINCREMENTAL
causa uma atualização incremental dos dados do BigQuery ao seu repositório de dados. Isso faz uma operação de inserção, que adiciona novos documentos e substitui os documentos existentes por documentos atualizados com o mesmo ID. EspecificarFULL
causa uma realocação total do documentos em seu repositório de dados. Em outras palavras, documentos novos e atualizados são adicionados ao repositório de dados, e os que não estão no BigQuery são removidos. O modoFULL
é útil se você quiser excluir automaticamente documentos que não são mais necessários.AUTO_GENERATE_IDS
: opcional. Especifica se os IDs de documentos serão gerados automaticamente. Se definido comotrue
, os IDs dos documentos são gerados com base em um hash do payload. Os IDs de documento gerados podem não permanecer consistentes em várias importações. Se você gerar IDs automaticamente em várias importações, o Google recomenda definirreconciliationMode
comoFULL
para manter os IDs de documentos consistentes.Especifique
autoGenerateIds
apenas quandobigquerySource.dataSchema
for Defina comocustom
. Caso contrário, será exibido um erroINVALID_ARGUMENT
. retornados. Se você não especificarautoGenerateIds
ou defini-lo comofalse
, é preciso especificaridField
. Caso contrário, a importação dos documentos vai falhar.ID_FIELD
: opcional. Especifica quais campos são os IDs de documentos. Para arquivos de origem do BigQuery,idField
indica o nome da coluna na tabela do BigQuery que contém os IDs dos documentos.Especifique
idField
apenas quando: (1)bigquerySource.dataSchema
estiver definido comocustom
e (2)auto_generate_ids
está definido comofalse
ou é não especificado. Caso contrário, será retornado um erroINVALID_ARGUMENT
.O valor do nome da coluna do BigQuery precisa ser do tipo string, ter entre 1 e 63 caracteres e estar em conformidade com o RFC-1034. Caso contrário, o documentos não são importados.
C#
Para mais informações, consulte a API Vertex AI Agent Builder C# documentação de referência.
Para autenticar no Vertex AI Agent Builder, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Este exemplo ingere dados não estruturados do BigQuery ou do Cloud Storage em um repositório de dados.
Go
Para mais informações, consulte a documentação de referência da API Go do Vertex AI Agent Builder.
Para autenticar no Vertex AI Agent Builder, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Este exemplo ingere dados não estruturados do BigQuery ou o Cloud Storage em um repositório de dados atual.
Java
Para mais informações, consulte a API Vertex AI Agent Builder Java documentação de referência.
Para autenticar no Vertex AI Agent Builder, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Este exemplo ingere dados não estruturados do BigQuery ou o Cloud Storage em um repositório de dados atual.
Node.js
Para mais informações, consulte a documentação de referência da API Node.js do Vertex AI Agent Builder.
Para autenticar no Vertex AI Agent Builder, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Este exemplo ingere dados não estruturados do BigQuery ou o Cloud Storage em um repositório de dados atual.
Python
Para mais informações, consulte a documentação de referência da API Python do Vertex AI Agent Builder.
Para autenticar no Vertex AI Agent Builder, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Este exemplo ingere dados não estruturados do BigQuery ou o Cloud Storage em um repositório de dados atual.
Ruby
Para mais informações, consulte a API Vertex AI Agent Builder Ruby documentação de referência.
Para autenticar no Vertex AI Agent Builder, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Este exemplo ingere dados não estruturados do BigQuery ou o Cloud Storage em um repositório de dados atual.
Próximas etapas
Para anexar o repositório de dados a um app, crie um app e selecione o repositório de dados seguindo as etapas em Criar um app de recomendações genéricas.
Para conferir como as recomendações vão aparecer depois que o app e o repositório de dados forem configurados, consulte Receber recomendações.
Cloud Storage
Para transferir dados do Cloud Storage, siga as etapas abaixo para criar um repositório de dados e fazer a transferência usando o console do Google Cloud ou a API.
Antes de importar seus dados, consulte Preparar dados para ingestão.
Console
Para usar o console para ingerir dados de um bucket do Cloud Storage, siga estas instruções etapas:
No Console do Google Cloud, acesse a página Criador de agentes.
Acesse a página Repositórios de dados.
Clique em Novo repositório de dados.
Na página Tipo, selecione Cloud Storage.
Na seção Selecionar uma pasta ou um arquivo para importar, selecione Pasta ou Arquivo.
Clique em Procurar e escolha os dados que você preparou para ingestão. Em seguida, clique em Selecionar. Se preferir, insira o local diretamente no campo
gs://
.Selecione o tipo de dados que você está importando.
Clique em Continuar.
Se você estiver fazendo uma importação única de dados estruturados:
Associe campos a propriedades principais.
Se houver campos importantes faltando no esquema, use Adicionar novo para adicioná-las.
Para mais informações, consulte Sobre a detecção automática e editar.
Clique em Continuar.
Escolha uma região para o repositório de dados.
Insira um nome para o repositório de dados.
Clique em Criar.
Para confirmar que o repositório de dados foi criado, acesse a página Repositórios de dados e clique no nome do repositório para conferir os detalhes na página Dados.
Para verificar o status do seu processamento, acesse a página Repositórios de dados. e clique no nome do repositório de dados para ver detalhes sobre ele na página Dados. Quando a coluna de status na guia Atividade muda de Em andamento para Importação concluída, a transferência é concluída.
Dependendo do tamanho dos dados, a ingestão pode demorar minutos ou várias horas.
REST
Usar a linha de comando para criar um repositório de dados e ingerir dados de Cloud Storage, siga estas etapas:
Criar um repositório de dados.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DATA_STORE_DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_RECOMMENDATION"], "contentConfig": "CONTENT_REQUIRED" }'
Substitua:
PROJECT_ID
: o ID do seu projeto do Google Cloud.DATA_STORE_ID
: o ID do repositório de dados de recomendações que você quer criar. Esse ID só pode conter letras minúsculas, dígitos, sublinhados e hifens.DATA_STORE_DISPLAY_NAME
: o nome de exibição do repositório de dados de recomendações que você quer criar.
Importa dados do Cloud Storage.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "gcsSource": { "inputUris": ["INPUT_FILE_PATTERN_1", "INPUT_FILE_PATTERN_2"], "dataSchema": "DATA_SCHEMA", }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", "errorConfig": { "gcsPrefix": "ERROR_DIRECTORY" } }'
Substitua:
PROJECT_ID
: o ID do seu projeto do Google Cloud.DATA_STORE_ID
: o ID do repositório de dados de recomendações.INPUT_FILE_PATTERN
: um padrão de arquivo no Cloud Storage que contêm seus documentos.Para dados estruturados ou não estruturados com metadados para documentos não estruturados, um exemplo de padrão de arquivo de entrada é
gs://<your-gcs-bucket>/directory/object.json
ou um padrão que corresponde a um ou mais arquivos, comogs://<your-gcs-bucket>/directory/*.json
.Para documentos não estruturados, um exemplo é
gs://<your-gcs-bucket>/directory/*.pdf
: Cada arquivo com correspondência pelo padrão se torna um documento.Se
<your-gcs-bucket>
não estiver emPROJECT_ID
, você precisará conceder à conta de serviçoservice-<project number>@gcp-sa-discoveryengine.iam.gserviceaccount.com
as permissões de "Leitor de objetos do Storage" para o bucket do Cloud Storage. Para exemplo, se você estiver importando um bucket do Cloud Storage de projeto de origem "123" ao projeto de destino "456", forneçaservice-456@gcp-sa-discoveryengine.iam.gserviceaccount.com
no bucket do Cloud Storage no projeto "123".DATA_SCHEMA
: opcional. Os valores sãodocument
,custom
,csv
econtent
. O padrão édocument
.document
: faz upload de dados não estruturados com metadados para e não estruturados. Cada linha do arquivo precisa seguir um dos seguintes formatos. É possível definir o ID de cada documento:{ "id": "<your-id>", "jsonData": "<JSON string>", "content": { "mimeType": "<application/pdf or text/html>", "uri": "gs://<your-gcs-bucket>/directory/filename.pdf" } }
{ "id": "<your-id>", "structData": <JSON object>, "content": { "mimeType": "<application/pdf or text/html>", "uri": "gs://<your-gcs-bucket>/directory/filename.pdf" } }
custom
: faz upload do JSON para documentos estruturados. Os dados são e são organizados de acordo com um esquema. É possível especificar o esquema. Caso contrário, ele será detectado automaticamente. Você pode colocar a string JSON do documento em um formato consistente diretamente em cada linha, e o Recommendations gera automaticamente os IDs para cada documento importado.content
: faça upload de documentos não estruturados (PDF, HTML, DOC, TXT, PPTX). O ID de cada documento é gerado automaticamente como os primeiros 128 bits de SHA256(GCS_URI) codificados como uma string hexadecimal. É possível especificar vários padrões de arquivo de entrada, desde que os arquivos correspondentes não excedam o limite de 100 mil arquivos.csv
: inclui uma linha de cabeçalho no arquivo CSV. com cada cabeçalho mapeado para um campo do documento. Especifique o caminho o arquivo CSV usando o campoinputUris
.
ERROR_DIRECTORY
: opcional. Um diretório do Cloud Storage para informações de erro sobre a importação, por exemplo,gs://<your-gcs-bucket>/directory/import_errors
. O Google recomenda deixar esse campo em branco para permitir que o Recommendations crie automaticamente um diretório temporário.RECONCILIATION_MODE
: opcional. Os valores sãoFULL
eINCREMENTAL
. O padrão éINCREMENTAL
. Como especificarINCREMENTAL
causa uma atualização incremental de dados do Cloud Storage para seu repositório de dados. Isso faz uma operação de inserção, que adiciona novos documentos e substitui os documentos existentes por atualizados com os mesmos ID. EspecificarFULL
causa uma realocação total dos documentos no seu repositório de dados. Em outras palavras, documentos novos e atualizados são adicionados à loja de dados, e aqueles que não estão no Cloud Storage são removidos dela. O modoFULL
é útil se você quiser para excluir automaticamente os documentos desnecessários.AUTO_GENERATE_IDS
: opcional. Especifica se deve automaticamente os IDs de documentos. Se definido comotrue
, os IDs dos documentos são gerados com base em um hash do payload. Observe que gerados IDs de documentos podem não permanecer consistentes em várias importações. Se você gerar IDs automaticamente em várias importações, o Google recomenda definirreconciliationMode
comoFULL
para manter os IDs de documentos consistentes.Especifique
autoGenerateIds
somente quandogcsSource.dataSchema
estiver definido comocustom
oucsv
. Caso contrário, um erroINVALID_ARGUMENT
será retornado. Se você não especificarautoGenerateIds
ou definir comofalse
, será necessário especificaridField
. Caso contrário, a importação de documentos vai falhar.ID_FIELD
: opcional. Especifica quais campos são os IDs de documentos. Para documentos de origem do Cloud Storage,idField
especifica o nome nos campos JSON que são IDs de documentos. Para exemplo, se{"my_id":"some_uuid"}
for o campo de ID do documento em uma dos documentos, especifique"idField":"my_id"
. Isso identifica todos os campos JSON com o nome"my_id"
como IDs de documentos.Especifique esse campo apenas quando: (1)
gcsSource.dataSchema
estiver definido comocustom
oucsv
, e (2)auto_generate_ids
está definido comofalse
ou não foi especificado. Caso contrário, será retornado um erroINVALID_ARGUMENT
.O valor do campo JSON do Cloud Storage precisa ser do tipo string, ter entre 1 e 63 caracteres e estar em conformidade com o RFC-1034. Caso contrário, o documentos não são importados.
O nome do campo JSON especificado por
id_field
precisa ser string, deve ter entre 1 e 63 caracteres e deve obedecer para RFC-1034. Caso contrário, a importação dos documentos vai falhar.
C#
Para mais informações, consulte a documentação de referência da API C# do Vertex AI Agent Builder.
Para autenticar no Vertex AI Agent Builder, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Este exemplo ingere dados não estruturados do BigQuery ou do Cloud Storage em um repositório de dados.
Go
Para mais informações, consulte a documentação de referência da API Go do Vertex AI Agent Builder.
Para autenticar no Vertex AI Agent Builder, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Este exemplo ingere dados não estruturados do BigQuery ou o Cloud Storage em um repositório de dados atual.
Java
Para mais informações, consulte a API Vertex AI Agent Builder Java documentação de referência.
Para autenticar no Vertex AI Agent Builder, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Este exemplo ingere dados não estruturados do BigQuery ou do Cloud Storage em um repositório de dados.
Node.js
Para mais informações, consulte a documentação de referência da API Node.js do Vertex AI Agent Builder.
Para autenticar no Vertex AI Agent Builder, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Este exemplo ingere dados não estruturados do BigQuery ou o Cloud Storage em um repositório de dados atual.
Python
Para mais informações, consulte a documentação de referência da API Python do Vertex AI Agent Builder.
Para autenticar no Vertex AI Agent Builder, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Este exemplo ingere dados não estruturados do BigQuery ou do Cloud Storage em um repositório de dados.
Ruby
Para mais informações, consulte a documentação de referência da API Ruby do Vertex AI Agent Builder.
Para autenticar no Vertex AI Agent Builder, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Este exemplo ingere dados não estruturados do BigQuery ou do Cloud Storage em um repositório de dados.
Próximas etapas
Para anexar seu repositório de dados a um app, crie um app e selecione o repositório seguindo as etapas Crie um app de recomendações genéricas.
Para conferir como as recomendações vão aparecer depois que o app e o repositório de dados forem configurados, consulte Receber recomendações.
Fazer upload de dados JSON estruturados com a API
Para fazer upload direto de um documento ou objeto JSON usando a API, siga estas etapas.
Antes de importar seus dados, Preparar os dados para ingestão.
REST
Para usar a linha de comando para criar um repositório de dados e importar dados JSON estruturados, siga estas etapas:
Criar um repositório de dados.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DATA_STORE_DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_RECOMMENDATION"] }'
Substitua:
PROJECT_ID
: o ID do seu projeto do Google Cloud.DATA_STORE_ID
: o ID do repositório de dados de recomendações que você quer criar. Esse ID só pode conter letras minúsculas, dígitos, sublinhados e hifens.DATA_STORE_DISPLAY_NAME
: o nome de exibição do repositório de dados de recomendações que você quer criar.
Opcional: forneça seu próprio esquema. Quando você fornece um esquema, normalmente obtém resultados melhores. Para mais informações, consulte Fornecer ou detectar automaticamente um esquema.
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/schemas/default_schema" \ -d '{ "structSchema": JSON_SCHEMA_OBJECT }'
Substitua:
PROJECT_ID
: o ID do seu projeto do Google Cloud.DATA_STORE_ID
: o ID do repositório de dados de recomendações.JSON_SCHEMA_OBJECT
: seu esquema JSON como um objeto JSON, por exemplo:{ "$schema": "https://json-schema.org/draft/2020-12/schema", "type": "object", "properties": { "title": { "type": "string", "keyPropertyMapping": "title" }, "categories": { "type": "array", "items": { "type": "string", "keyPropertyMapping": "category" } }, "uri": { "type": "string", "keyPropertyMapping": "uri" } } }
Importe dados estruturados que estejam em conformidade com o esquema definido.
Há algumas abordagens que podem ser usadas para fazer o upload de dados, incluindo:
Faça upload de um documento JSON.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents?documentId=DOCUMENT_ID" \ -d '{ "jsonData": "JSON_DOCUMENT_STRING" }'
Substitua
JSON_DOCUMENT_STRING
pelo documento JSON como uma única string. Ele precisa estar em conformidade com o esquema JSON que você fornecidos na etapa anterior, por exemplo:```none { \"title\": \"test title\", \"categories\": [\"cat_1\", \"cat_2\"], \"uri\": \"test uri\"} ```
Faça upload de um objeto JSON.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents?documentId=DOCUMENT_ID" \ -d '{ "structData": JSON_DOCUMENT_OBJECT }'
Substitua
JSON_DOCUMENT_OBJECT
pelo documento JSON como objeto JSON. Ele precisa estar em conformidade com o esquema JSON que você forneceu na etapa anterior, por exemplo:```json { "title": "test title", "categories": [ "cat_1", "cat_2" ], "uri": "test uri" } ```
Atualize com um documento JSON.
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents/DOCUMENT_ID" \ -d '{ "jsonData": "JSON_DOCUMENT_STRING" }'
Atualize com um objeto JSON.
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents/DOCUMENT_ID" \ -d '{ "structData": JSON_DOCUMENT_OBJECT }'
Próximas etapas
Para anexar seu repositório de dados a um app, crie um app e selecione o repositório seguindo as etapas Crie um app de recomendações genéricas.
Para visualizar como suas recomendações aparecem depois que o app e o repositório de dados são configurar, consulte Receba recomendações.
Criar um repositório de dados usando o Terraform
É possível usar o Terraform para criar um repositório de dados vazio. Depois que o repositório de dados vazio é criado, é possível transferir dados para ele usando o console do Google Cloud ou comandos de API.
Para saber como aplicar ou remover uma configuração do Terraform, consulte Comandos básicos do Terraform.
Para criar um repositório de dados vazio usando o Terraform, consulte
google_discovery_engine_data_store
.