Para crear un almacén de datos y transferir datos para la búsqueda, ve a la sección de la fuente que planeas usar:
- Cómo crear un almacén de datos con el contenido de un sitio web
- Importa desde BigQuery
- Importa desde Cloud Storage
- Cómo sincronizar desde Google Drive
- Sincronización desde Gmail (versión preliminar pública)
- Sincronización desde Google Sites (versión preliminar pública)
- Sincronización desde el Calendario de Google (versión preliminar pública)
- Sincronización desde Grupos de Google (versión preliminar pública)
- Sincroniza datos de contactos (versión preliminar pública)
- Importa desde Cloud SQL
- Importa desde Spanner (versión preliminar pública)
- Importa desde Firestore
- Importa desde Bigtable (versión preliminar pública)
- Importa desde AlloyDB para PostgreSQL (versión preliminar pública)
- Cómo subir datos JSON estructurados con la API
- Crea un almacén de datos con Terraform
Para sincronizar datos de una fuente de datos de terceros, consulta Cómo conectar una fuente de datos de terceros.
Limitaciones
Si tienes políticas de la organización de CMEK, debes crear almacenes de datos nuevos con la API, no con la consola de Google Cloud. La creación de nuevos almacenamiento de datos con la consola de Google Cloud falla si tienes habilitadas las políticas de la organización de CMEK. Para obtener más información sobre la compatibilidad con CMEK para la Búsqueda de Vertex AI, consulta Claves de encriptación administradas por el cliente.
Crea un almacén de datos con el contenido de un sitio web
Usa el siguiente procedimiento para crear un almacén de datos y indexar sitios web.
Para usar un almacén de datos de sitios web después de crearlo, debes adjuntarlo a una app que tenga activadas las funciones empresariales. Puedes activar la edición Enterprise para una app cuando la creas. Esto genera costos adicionales. Consulta Cómo crear una app de búsqueda y Acerca de las funciones avanzadas.
Console
Para usar la consola de Google Cloud y crear un almacén de datos y indexar sitios web, sigue estos pasos:
En la consola de Google Cloud, ve a la página Agent Builder.
En el menú de navegación, haz clic en Almacenes de datos.
Haz clic en Crear almacén de datos.
En la página Fuente, selecciona Contenido de sitios web.
Elige si quieres activar la indexación avanzada de sitios web para este almacén de datos. Esta opción no se puede activar o desactivar más adelante.
La indexación avanzada de sitios web proporciona funciones adicionales, como el resumen de búsquedas, la búsqueda con preguntas adicionales y las respuestas extractivas. La indexación avanzada de sitios web genera un costo adicional y requiere que verifiques la propiedad del dominio de cualquier sitio web que indexes. Para obtener más información, consulta Indexación avanzada de sitios web y Precios.
En el campo Sitios que se incluirán, ingresa los patrones de URL que coincidan con los sitios web que deseas incluir en tu almacén de datos. Incluye un patrón de URL por línea, sin separadores de comas. Por ejemplo:
www.example.com/docs/*
.Opcional: En el campo Sitios para excluir, ingresa los patrones de URL que deseas excluir de tu almacén de datos.
Para ver la cantidad de patrones de URL que puedes incluir o excluir, consulta Datos de sitios web.
Haga clic en Continuar.
Selecciona una ubicación para tu almacén de datos. La indexación avanzada de sitios web debe estar activada para seleccionar una ubicación.
Ingresa un nombre para tu almacén de datos.
Haz clic en Crear. Vertex AI Search crea tu almacén de datos y lo muestra en la página Almacenes de datos.
Para ver información sobre tu almacén de datos, haz clic en su nombre en la columna Nombre. Aparecerá la página de tu almacén de datos.
- Si activaste la indexación avanzada de sitios web, aparecerá una advertencia que te solicitará que verifiques los dominios de tu almacén de datos.
- Si tienes una falta de cuota (la cantidad de páginas en los sitios web que especificaste supera la cuota de "Cantidad de documentos por proyecto" de tu proyecto), aparecerá una advertencia adicional para que actualices tu cuota.
Para verificar los dominios de los patrones de URL en tu almacén de datos, sigue las instrucciones que se indican en la página Cómo verificar los dominios de los sitios web.
Para actualizar tu cuota, sigue estos pasos:
- Haz clic en Actualizar cuota. Aparecerá la página IAM y administración de la consola de Google Cloud.
- Sigue las instrucciones que se indican en Solicita un límite de cuota más alto en la documentación de Google Cloud. La cuota que se aumentará es Cantidad de documentos en el servicio de la API de Discovery Engine.
- Después de enviar tu solicitud de un límite de cuota más alto, vuelve a la página Agent Builder y haz clic en Data Stores en el menú de navegación.
- Haz clic en el nombre de tu almacén de datos en la columna Nombre. La columna Estado indica que la indexación está en curso para los sitios web que superaron la cuota. Cuando la columna Estado de una URL muestra Indexada, las funciones de indexación avanzada de sitios web están disponibles para esa URL o patrón de URL.
Para obtener más información, consulta Cuota para el indexado de páginas web en la página "Cuotas y límites".
Python
Para obtener más información, consulta la documentación de referencia de la API de Python del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importa sitios web
Próximos pasos
Para conectar el almacén de datos de tu sitio web a una app, crea una app con las funciones empresariales habilitadas y selecciona tu almacén de datos siguiendo los pasos que se indican en Cómo crear una app de búsqueda.
Para obtener una vista previa de cómo aparecen los resultados de la búsqueda después de configurar tu app y el almacén de datos, consulta Cómo obtener resultados de la búsqueda.
Importa desde BigQuery
Puedes crear almacenes de datos a partir de tablas de BigQuery de dos maneras:
Transferencia única: Importas datos de una tabla de BigQuery a un almacén de datos. Los datos del almacén de datos no cambian, a menos que actualices los datos de forma manual.
Transferencia periódica: Importas datos de una o más tablas de BigQuery y configuras una frecuencia de sincronización que determina la frecuencia con la que se actualizan los almacenes de datos con los datos más recientes del conjunto de datos de BigQuery.
En la siguiente tabla, se comparan las dos formas en que puedes importar datos de BigQuery a los almacenes de datos de Vertex AI Search.
Transferencia única | Transferencia periódica |
---|---|
Disponibilidad general (DG). | Versión preliminar pública. |
Los datos se deben actualizar de forma manual. | Los datos se actualizan automáticamente cada 1, 3 o 5 días. Los datos no se pueden actualizar manualmente. |
Vertex AI Search crea un solo almacén de datos a partir de una tabla en BigQuery. | Vertex AI Search crea un conector de datos para un conjunto de datos de BigQuery y un almacén de datos (llamado almacén de datos de entidad) para cada tabla especificada. Para cada conector de datos, las tablas deben tener el mismo tipo de datos (por ejemplo, estructurados) y estar en el mismo conjunto de datos de BigQuery. |
Para combinar datos de varias tablas en un almacén de datos, primero debes transferir datos de una tabla y, luego, más datos de otra fuente o tabla de BigQuery. | Debido a que no se admite la importación manual de datos, los datos de un almacén de datos de entidades solo se pueden obtener de una tabla de BigQuery. |
Se admite el control de acceso a la fuente de datos. | No se admite el control de acceso a la fuente de datos. Los datos importados pueden contener controles de acceso, pero estos no se respetarán. |
Puedes crear un almacén de datos con la consola de Google Cloud o la API. | Debes usar la consola para crear conectores de datos y sus almacenes de datos de entidades. |
Cumple con CMEK. | No cumple con CMEK. |
Importa una vez desde BigQuery
Para transferir datos de una tabla de BigQuery, sigue estos pasos para crear un almacén de datos y transferir datos con la consola de Google Cloud o la API.
Antes de importar tus datos, consulta Prepara los datos para la transferencia.
Console
Para usar la consola de Google Cloud y transferir datos de BigQuery, sigue estos pasos:
En la consola de Google Cloud, ve a la página Agent Builder.
Ve a la página Almacenes de datos.
Haz clic en Nuevo almacén de datos.
En la página Fuente, selecciona BigQuery.
Selecciona qué tipo de datos estás importando.
Haz clic en Una vez.
En el campo Ruta de acceso de BigQuery, haz clic en Explorar, selecciona una tabla que hayas preparado para transferir y, luego, haz clic en Seleccionar. Como alternativa, ingresa la ubicación de la tabla directamente en el campo Ruta de BigQuery.
Haga clic en Continuar.
Si realizas una importación única de datos estructurados, haz lo siguiente:
Asigna campos a propiedades clave.
Si faltan campos importantes en el esquema, usa Agregar campo nuevo para agregarlos.
Para obtener más información, consulta Acerca de la detección automática y la edición.
Haga clic en Continuar.
Elige una región para tu almacén de datos.
Ingresa un nombre para tu almacén de datos.
Haz clic en Crear.
Para verificar el estado de la transferencia, ve a la página Almacenes de datos y haz clic en el nombre de tu almacén de datos para ver los detalles en la página Datos. Cuando la columna de estado de la pestaña Actividad cambie de En curso a Importación completada, se habrá completado la transferencia.
Según el tamaño de tus datos, la transferencia puede tardar varios minutos o varias horas.
REST
Para usar la línea de comandos y crear un almacén de datos y, luego, importar datos desde BigQuery, sigue estos pasos.
Crea un almacén de datos.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DATA_STORE_DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_SEARCH"] }'
Reemplaza lo siguiente:
PROJECT_ID
: El ID del proyecto de Google Cloud.DATA_STORE_ID
: El ID del almacén de datos de Vertex AI Search que deseas crear. Este ID solo puede contener letras en minúscula, dígitos, guiones bajos y guiones.DATA_STORE_DISPLAY_NAME
: Es el nombre visible del almacén de datos de Vertex AI Search que deseas crear.
Opcional: Si subes datos no estructurados y deseas configurar el análisis de documentos o activar el fragmentación de documentos para RAG, especifica el objeto
documentProcessingConfig
y, luego, inclúyelo en tu solicitud de creación de almacén de datos. Se recomienda configurar un analizador de OCR para PDFs si transfieres PDFs escaneados. Para obtener información sobre cómo configurar opciones de análisis o división, consulta Cómo analizar y dividir documentos.Importa datos de BigQuery.
Si definiste un esquema, asegúrate de que los datos cumplan con ese esquema.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "bigquerySource": { "projectId": "PROJECT_ID", "datasetId":"DATASET_ID", "tableId": "TABLE_ID", "dataSchema": "DATA_SCHEMA", "aclEnabled": "BOOLEAN" }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", "errorConfig": { "gcsPrefix": "ERROR_DIRECTORY" } }'
Reemplaza lo siguiente:
PROJECT_ID
: El ID del proyecto de Google Cloud.DATA_STORE_ID
: el ID del almacén de datos de Vertex AI Search.DATASET_ID
: El ID del conjunto de datos de BigQuery.TABLE_ID
: Es el ID de la tabla de BigQuery.- Si la tabla de BigQuery no está en
PROJECT_ID, debes otorgarle a la cuenta de servicio
service-<project number>@gcp-sa-discoveryengine.iam.gserviceaccount.com
permiso de "Visualizador de datos de BigQuery" para la tabla de BigQuery. Por ejemplo, si importas una tabla de BigQuery del proyecto de origen "123" al proyecto de destino "456", otorga permisosservice-456@gcp-sa-discoveryengine.iam.gserviceaccount.com
para la tabla de BigQuery en el proyecto "123".
- Si la tabla de BigQuery no está en
PROJECT_ID, debes otorgarle a la cuenta de servicio
DATA_SCHEMA
: Opcional Los valores sondocument
ycustom
. El valor predeterminado esdocument
.document
: La tabla de BigQuery que uses debe cumplir con el esquema predeterminado de BigQuery que se proporciona en Cómo preparar los datos para la transferencia. Puedes definir el ID de cada documento por tu cuenta, mientras unes todos los datos en la cadena jsonData.custom
: Se acepta cualquier esquema de tabla de BigQuery, y Vertex AI Search genera automáticamente los IDs de cada documento que se importa.
ERROR_DIRECTORY
: Opcional Un directorio de Cloud Storage para obtener información sobre los errores de la importación (por ejemplo,gs://<your-gcs-bucket>/directory/import_errors
). Google recomienda dejar este campo vacío para permitir que Vertex AI Search cree automáticamente un directorio temporal.RECONCILIATION_MODE
: Opcional Los valores sonFULL
yINCREMENTAL
. El valor predeterminado esINCREMENTAL
. EspecificarINCREMENTAL
provoca una actualización incremental de los datos de BigQuery a tu almacén de datos. Esto realiza una operación de inserción y actualización, que agrega documentos nuevos y reemplaza los existentes por documentos actualizados con el mismo ID. EspecificarFULL
causa una rebase completa de los documentos en tu almacén de datos. En otras palabras, los documentos nuevos y actualizados se agregan a tu almacén de datos, y los documentos que no están en BigQuery se quitan de tu almacén de datos. El modoFULL
es útil si quieres borrar automáticamente los documentos que ya no necesitas.AUTO_GENERATE_IDS
: Opcional Especifica si se deben generar automáticamente los IDs de documento. Si se establece entrue
, los IDs de los documentos se generan en función de un hash de la carga útil. Ten en cuenta que los IDs de documentos generados pueden no mantenerse coherentes en varias importaciones. Si generas IDs automáticamente en varias importaciones, Google recomienda configurarreconciliationMode
comoFULL
para mantener IDs de documentos coherentes.Especifica
autoGenerateIds
solo cuandobigquerySource.dataSchema
se establece encustom
. De lo contrario, se muestra un errorINVALID_ARGUMENT
. Si no especificasautoGenerateIds
o lo configuras enfalse
, debes especificaridField
. De lo contrario, los documentos no se importarán.ID_FIELD
: Opcional Especifica qué campos son los IDs de los documentos. En el caso de los archivos de origen de BigQuery,idField
indica el nombre de la columna en la tabla de BigQuery que contiene los IDs de documentos.Especifica
idField
solo cuando: (1)bigquerySource.dataSchema
se establece comocustom
y (2)auto_generate_ids
se establece comofalse
o no se especifica. De lo contrario, se muestra un errorINVALID_ARGUMENT
.El valor del nombre de la columna de BigQuery debe ser de tipo cadena, debe tener entre 1 y 63 caracteres y debe cumplir con RFC-1034. De lo contrario, no se importarán los documentos.
C#
Para obtener más información, consulta la documentación de referencia de la API de C# del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importar documentos
Go
Para obtener más información, consulta la documentación de referencia de la API de Go del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importar documentos
Java
Para obtener más información, consulta la documentación de referencia de la API de Java del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importar documentos
Node.js
Para obtener más información, consulta la documentación de referencia de la API de Node.js del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importar documentos
Python
Para obtener más información, consulta la documentación de referencia de la API de Python del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importar documentos
Ruby
Para obtener más información, consulta la documentación de referencia de la API de Ruby del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importar documentos
Conéctate a BigQuery con sincronización periódica
Antes de importar tus datos, consulta Prepara los datos para la transferencia.
En el siguiente procedimiento, se describe cómo crear un conector de datos que asocie un conjunto de datos de BigQuery con un conector de datos de Vertex AI Search y cómo especificar una tabla en el conjunto de datos para cada almacén de datos que desees crear. Los almacenes de datos que son secundarios de los conectores de datos se denominan almacenes de datos de entidad.
Los datos del conjunto de datos se sincronizan periódicamente con los almacenes de datos de la entidad. Puedes especificar la sincronización a diario, cada tres días o cada cinco días.
Console
Para usar la consola de Google Cloud y crear un conector que sincronice de forma periódica los datos de un conjunto de datos de BigQuery con Vertex AI Search, sigue estos pasos:
En la consola de Google Cloud, ve a la página Agent Builder.
En el menú de navegación, haz clic en Almacenes de datos.
Haz clic en Crear almacén de datos.
En la página Fuente, selecciona BigQuery.
Selecciona el tipo de datos que deseas importar.
Haz clic en Periódico.
Selecciona la frecuencia de sincronización, es decir, la frecuencia con la que deseas que el conector de Vertex AI Search se sincronice con el conjunto de datos de BigQuery. Puedes cambiar la frecuencia más adelante.
En el campo Ruta de acceso del conjunto de datos de BigQuery, haz clic en Explorar, selecciona el conjunto de datos que contiene las tablas que preparaste para la transferencia. Como alternativa, ingresa la ubicación de la tabla directamente en el campo Ruta de BigQuery. El formato de la ruta es
projectname.datasetname
.En el campo Tablas para sincronizar, haz clic en Explorar y, luego, selecciona una tabla que contenga los datos que deseas para tu almacén de datos.
Si hay tablas adicionales en el conjunto de datos que deseas usar para los almacenes de datos, haz clic en Agregar tabla y especifícalas también.
Haga clic en Continuar.
Elige una región para tu almacén de datos, ingresa un nombre para tu conector de datos y, luego, haz clic en Crear.
Ahora creaste un conector de datos, que sincronizará los datos de forma periódica con el conjunto de datos de BigQuery. Además, creaste uno o más almacenes de datos de entidades. Los almacenes de datos tienen los mismos nombres que las tablas de BigQuery.
Para verificar el estado de la transferencia, ve a la página Almacenes de datos y haz clic en el nombre de tu conector de datos para ver los detalles en la página Datos > pestaña Actividad de transferencia de datos. Cuando la columna de estado de la pestaña Actividad cambie de En curso a Se realizó correctamente, se habrá completado la primera transferencia.
Según el tamaño de tus datos, la transferencia puede tardar varios minutos o varias horas.
Después de configurar tu fuente de datos y de importar datos por primera vez, el almacén de datos sincroniza los datos de esa fuente con la frecuencia que selecciones durante la configuración. La primera sincronización se produce aproximadamente una hora después de crear el conector de datos. La siguiente sincronización se produce alrededor de 24, 72 o 120 horas después.
Próximos pasos
Para conectar tu almacén de datos a una app, crea una app y selecciona tu almacén de datos siguiendo los pasos que se indican en Cómo crear una app de búsqueda.
Para obtener una vista previa de cómo aparecen los resultados de la búsqueda después de configurar tu app y el almacén de datos, consulta Cómo obtener resultados de la búsqueda.
Importar desde Cloud Storage
Puedes crear almacenes de datos a partir de tablas de Cloud Storage de dos maneras:
Transferencia única: Importas datos de un archivo o una carpeta de Cloud Storage a un almacén de datos. Los datos del almacén de datos no cambian, a menos que actualices los datos de forma manual.
Transferencia periódica: Importas datos de un archivo o una carpeta de Cloud Storage y configuras una frecuencia de sincronización que determina la frecuencia con la que se actualiza el almacén de datos con los datos más recientes de esa ubicación de Cloud Storage.
En la siguiente tabla, se comparan las dos formas en que puedes importar datos de Cloud Storage a los almacenes de datos de Vertex AI Search.
Transferencia única | Transferencia periódica |
---|---|
Disponibilidad general (DG). | Versión preliminar pública. |
Los datos se deben actualizar de forma manual. | Los datos se actualizan automáticamente cada uno, tres o cinco días. Los datos no se pueden actualizar manualmente. |
Vertex AI Search crea un solo almacén de datos a partir de una carpeta o un archivo en Cloud Storage. | Vertex AI Search crea un conector de datos y lo asocia con un almacén de datos (llamado almacén de datos de entidad) para el archivo o la carpeta que se especifica. Cada conector de datos de Cloud Storage puede tener un almacén de datos de entidad única. |
Para combinar datos de varios archivos, carpetas y buckets en un almacén de datos, primero transfiere datos de una ubicación de Cloud Storage y, luego, más datos de otra ubicación. | Debido a que no se admite la importación manual de datos, los datos de un almacén de datos de la entidad solo se pueden obtener de un archivo o una carpeta de Cloud Storage. |
Se admite el control de acceso a la fuente de datos. Para obtener más información, consulta Control de acceso a las fuentes de datos. | No se admite el control de acceso a la fuente de datos. Los datos importados pueden contener controles de acceso, pero estos no se respetarán. |
Puedes crear un almacén de datos con la consola de Google Cloud o la API. | Debes usar la consola para crear conectores de datos y sus almacenes de datos de entidades. |
Cumple con CMEK. | No cumple con CMEK. |
Importa una vez desde Cloud Storage
Para transferir datos desde Cloud Storage, sigue estos pasos para crear un almacén de datos y transferir datos con la consola de Google Cloud o la API.
Antes de importar tus datos, consulta Prepara los datos para la transferencia.
Console
Para usar la consola y transferir datos de un bucket de Cloud Storage, sigue estos pasos:
En la consola de Google Cloud, ve a la página Agent Builder.
Ve a la página Almacenes de datos.
Haz clic en Nuevo almacén de datos.
En la página Fuente, selecciona Cloud Storage.
En la sección Selecciona una carpeta o un archivo que desees importar, selecciona Carpeta o Archivo.
Haz clic en Explorar y elige los datos que preparaste para transferir. Luego, haz clic en Seleccionar. Como alternativa, ingresa la ubicación directamente en el campo
gs://
.Selecciona el tipo de datos que deseas importar.
Haga clic en Continuar.
Si realizas una importación única de datos estructurados, haz lo siguiente:
Asigna campos a propiedades clave.
Si faltan campos importantes en el esquema, usa Agregar campo nuevo para agregarlos.
Para obtener más información, consulta Acerca de la detección automática y la edición.
Haga clic en Continuar.
Elige una región para tu almacén de datos.
Elige una región para tu almacén de datos.
Ingresa un nombre para tu almacén de datos.
Opcional: Si seleccionaste documentos no estructurados, puedes seleccionar opciones de análisis y fragmentación para tus documentos. Para comparar analizadores, consulta Cómo analizar documentos. Para obtener información sobre el corte, consulta Cómo dividir documentos para RAG.
El analizador de OCR y el analizador de diseño pueden generar costos adicionales. Consulta Documenta los precios de las funciones de IA.
Para seleccionar un analizador, expande Document processing options y especifica las opciones de analizador que deseas usar.
Haz clic en Crear.
Para verificar el estado de la transferencia, ve a la página Almacenes de datos y haz clic en el nombre de tu almacén de datos para ver los detalles en la página Datos. Cuando la columna de estado de la pestaña Actividad cambie de En curso a Importación completada, se habrá completado la transferencia.
Según el tamaño de tus datos, la transferencia puede tardar varios minutos o varias horas.
REST
Para usar la línea de comandos y crear un almacén de datos y transferir datos desde Cloud Storage, sigue estos pasos.
Crea un almacén de datos.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DATA_STORE_DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_SEARCH"], "contentConfig": "CONTENT_REQUIRED", }'
Reemplaza lo siguiente:
PROJECT_ID
: El ID del proyecto de Google Cloud.DATA_STORE_ID
: El ID del almacén de datos de Vertex AI Search que deseas crear. Este ID solo puede contener letras en minúscula, dígitos, guiones bajos y guiones.DATA_STORE_DISPLAY_NAME
: Es el nombre visible del almacén de datos de Vertex AI Search que deseas crear.
Opcional: Para configurar el análisis de documentos o activar el fragmento de documentos para RAG, especifica el objeto
documentProcessingConfig
y, luego, inclúyelo en la solicitud de creación de tu almacén de datos. Se recomienda configurar un analizador de OCR para PDFs si transfieres PDFs escaneados. Para obtener información sobre cómo configurar opciones de análisis o división, consulta Cómo analizar y dividir documentos.Importar datos desde Cloud Storage.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "gcsSource": { "inputUris": ["INPUT_FILE_PATTERN_1", "INPUT_FILE_PATTERN_2"], "dataSchema": "DATA_SCHEMA", }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", "errorConfig": { "gcsPrefix": "ERROR_DIRECTORY" } }'
Reemplaza lo siguiente:
PROJECT_ID
: El ID del proyecto de Google Cloud.DATA_STORE_ID
: el ID del almacén de datos de Vertex AI Search.INPUT_FILE_PATTERN
: Es un patrón de archivo en Cloud Storage que contiene tus documentos.Para datos estructurados o no estructurados con metadatos, un ejemplo del patrón de archivo de entrada es
gs://<your-gcs-bucket>/directory/object.json
y un ejemplo de coincidencia de patrones con uno o más archivos esgs://<your-gcs-bucket>/directory/*.json
.Para los documentos no estructurados, un ejemplo es
gs://<your-gcs-bucket>/directory/*.pdf
. Cada archivo que coincida con el patrón se convierte en un documento.Si
<your-gcs-bucket>
no está debajo de PROJECT_ID, debes otorgarle a la cuenta de servicioservice-<project number>@gcp-sa-discoveryengine.iam.gserviceaccount.com
los permisos de “Visualizador de objetos de almacenamiento” para el bucket de Cloud Storage. Por ejemplo, si importas un bucket de Cloud Storage del proyecto de origen "123" al proyecto de destino "456", otorga permisosservice-456@gcp-sa-discoveryengine.iam.gserviceaccount.com
en el bucket de Cloud Storage del proyecto "123".DATA_SCHEMA
: Opcional Los valores sondocument
,custom
,csv
ycontent
. El valor predeterminado esdocument
.document
: Sube datos no estructurados con metadatos para documentos no estructurados. Cada línea del archivo debe seguir uno de los siguientes formatos. Puedes definir el ID de cada documento:{ "id": "<your-id>", "jsonData": "<JSON string>", "content": { "mimeType": "<application/pdf or text/html>", "uri": "gs://<your-gcs-bucket>/directory/filename.pdf" } }
{ "id": "<your-id>", "structData": <JSON object>, "content": { "mimeType": "<application/pdf or text/html>", "uri": "gs://<your-gcs-bucket>/directory/filename.pdf" } }
custom
: Sube JSON para documentos estructurados. Los datos se organizan según un esquema. Puedes especificar el esquema. De lo contrario, se detectará automáticamente. Puedes colocar la cadena JSON del documento en un formato coherente directamente en cada línea, y la Búsqueda de Vertex AI genera automáticamente los IDs de cada documento importado.content
: Sube documentos no estructurados (PDF, HTML, DOC, TXT y PPTX). El ID de cada documento se genera automáticamente como los primeros 128 bits de SHA256(GCS_URI) codificados como una cadena hexadecimal. Puedes especificar varios patrones de archivos de entrada, siempre y cuando los archivos coincidentes no superen el límite de 100,000 archivos.csv
: Incluye una fila de encabezado en el archivo CSV, con cada encabezado asignado a un campo de documento. Especifica la ruta de acceso al archivo CSV con el campoinputUris
.
ERROR_DIRECTORY
: Opcional Un directorio de Cloud Storage para obtener información sobre los errores de la importación (por ejemplo,gs://<your-gcs-bucket>/directory/import_errors
) Google recomienda dejar este campo vacío para permitir que Vertex AI Search cree automáticamente un directorio temporal.RECONCILIATION_MODE
: Opcional Los valores sonFULL
yINCREMENTAL
. El valor predeterminado esINCREMENTAL
. EspecificarINCREMENTAL
provoca una actualización incremental de los datos de Cloud Storage a tu almacén de datos. Esto realiza una operación de inserción y actualización, que agrega documentos nuevos y reemplaza los existentes por documentos actualizados con el mismo ID. EspecificarFULL
causa una rebase completa de los documentos en tu almacén de datos. En otras palabras, se agregan documentos nuevos y actualizados a tu almacén de datos, y se quitan los documentos que no están en Cloud Storage. El modoFULL
es útil si quieres borrar automáticamente los documentos que ya no necesitas.AUTO_GENERATE_IDS
: Opcional Especifica si se deben generar automáticamente los IDs de documento. Si se establece entrue
, los IDs de los documentos se generan en función de un hash de la carga útil. Ten en cuenta que los IDs de documentos generados pueden no ser coherentes en varias importaciones. Si generas IDs automáticamente en varias importaciones, Google recomienda configurarreconciliationMode
comoFULL
para mantener IDs de documentos coherentes.Especifica
autoGenerateIds
solo cuandogcsSource.dataSchema
esté configurado comocustom
ocsv
. De lo contrario, se muestra un errorINVALID_ARGUMENT
. Si no especificasautoGenerateIds
o lo configuras enfalse
, debes especificaridField
. De lo contrario, no se podrán importar los documentos.ID_FIELD
: Opcional Especifica qué campos son los IDs de los documentos. En el caso de los documentos de origen de Cloud Storage,idField
especifica el nombre en los campos JSON que son IDs de documentos. Por ejemplo, si{"my_id":"some_uuid"}
es el campo de ID de documento en uno de tus documentos, especifica"idField":"my_id"
. Esto identifica todos los campos JSON con el nombre"my_id"
como IDs de documentos.Especifica este campo solo cuando: (1)
gcsSource.dataSchema
esté configurado comocustom
ocsv
, y (2)auto_generate_ids
esté configurado comofalse
o no se especifique. De lo contrario, se muestra un errorINVALID_ARGUMENT
.Ten en cuenta que el valor del campo JSON de Cloud Storage debe ser de tipo cadena, debe tener entre 1 y 63 caracteres y debe cumplir con la RFC-1034. De lo contrario, no se podrán importar los documentos.
Ten en cuenta que el nombre del campo JSON especificado por
id_field
debe ser de tipo cadena, debe tener entre 1 y 63 caracteres y debe cumplir con RFC-1034. De lo contrario, no se podrán importar los documentos.
C#
Para obtener más información, consulta la documentación de referencia de la API de C# del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importar documentos
Go
Para obtener más información, consulta la documentación de referencia de la API de Go del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importar documentos
Java
Para obtener más información, consulta la documentación de referencia de la API de Java del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importar documentos
Node.js
Para obtener más información, consulta la documentación de referencia de la API de Node.js del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importar documentos
Python
Para obtener más información, consulta la documentación de referencia de la API de Python del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importar documentos
Ruby
Para obtener más información, consulta la documentación de referencia de la API de Ruby del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importar documentos
Cómo conectarse a Cloud Storage con sincronización periódica
Antes de importar tus datos, consulta Prepara los datos para la transferencia.
En el siguiente procedimiento, se describe cómo crear un conector de datos que asocie una ubicación de Cloud Storage con un conector de datos de Vertex AI Search y cómo especificar una carpeta o un archivo en esa ubicación para el almacén de datos que deseas crear. Los almacenes de datos que son secundarios de los conectores de datos se denominan almacenes de datos de entidad.
Los datos se sincronizan periódicamente con el almacén de datos de la entidad. Puedes especificar la sincronización a diario, cada tres días o cada cinco días.
Console
En la consola de Google Cloud, ve a la página Agent Builder.
Ve a la página Almacenes de datos.
Haz clic en Crear almacén de datos.
En la página Fuente, selecciona Cloud Storage.
Selecciona el tipo de datos que deseas importar.
Haz clic en Periódico.
Selecciona la frecuencia de sincronización, es decir, la frecuencia con la que deseas que el conector de búsqueda de Vertex AI se sincronice con la ubicación de Cloud Storage. Puedes cambiar la frecuencia más adelante.
En la sección Selecciona una carpeta o un archivo que desees importar, selecciona Carpeta o Archivo.
Haz clic en Explorar y elige los datos que preparaste para transferir. Luego, haz clic en Seleccionar. Como alternativa, ingresa la ubicación directamente en el campo
gs://
.Haga clic en Continuar.
Elige una región para tu conector de datos.
Ingresa un nombre para tu conector de datos.
Opcional: Si seleccionaste documentos no estructurados, puedes seleccionar opciones de análisis y fragmentación para tus documentos. Para comparar analizadores, consulta Cómo analizar documentos. Para obtener información sobre el corte, consulta Cómo dividir documentos para RAG.
El analizador de OCR y el analizador de diseño pueden generar costos adicionales. Consulta Documenta los precios de las funciones de IA.
Para seleccionar un analizador, expande Document processing options y especifica las opciones de analizador que deseas usar.
Haz clic en Crear.
Ahora creaste un conector de datos, que sincronizará los datos de forma periódica con la ubicación de Cloud Storage. También creaste un almacén de datos de entidades, que se llama
gcs_store
.Para verificar el estado de la transferencia, ve a la página Almacenes de datos y haz clic en el nombre de tu conector de datos para ver los detalles en la página Datos.
Pestaña Actividad de transferencia de datos. Cuando la columna de estado de la pestaña Actividad de transferencia de datos cambie de En curso a Se realizó correctamente, se completará la primera transferencia.
Según el tamaño de tus datos, la transferencia puede tardar varios minutos o varias horas.
Después de configurar tu fuente de datos y de importar datos por primera vez, los datos se sincronizan desde esa fuente con la frecuencia que selecciones durante la configuración. La primera sincronización se produce aproximadamente una hora después de crear el conector de datos. La siguiente sincronización se produce alrededor de 24, 72 o 120 horas después.
Próximos pasos
Para conectar tu almacén de datos a una app, crea una app y selecciona tu almacén de datos siguiendo los pasos que se indican en Cómo crear una app de búsqueda.
Para obtener una vista previa de cómo aparecen los resultados de la búsqueda después de configurar tu app y el almacén de datos, consulta Cómo obtener resultados de la búsqueda.
Cómo conectarse a Google Drive
Para buscar datos de Google Drive, sigue estos pasos para crear un conector con la consola de Google Cloud.
Antes de comenzar:
Debes acceder a la consola de Google Cloud con la misma cuenta que usas para la instancia de Google Drive que planeas conectar. Vertex AI Search usa tu ID de cliente de Google Workspace para conectarse a Google Drive.
Configura el control de acceso de Google Drive. Para obtener información sobre cómo configurar el control de acceso, consulta Cómo usar el control de acceso a la fuente de datos.
La búsqueda avanzada de Google Drive se encuentra en versión preliminar privada. Esta función es un requisito para usar el resumen de búsqueda y la búsqueda con preguntas adicionales con un almacén de datos de Google Drive. Para usar esta función, sigue los pasos que se indican en Cómo usar la indexación avanzada de Drive.
Console
Para usar la consola y hacer que los datos de Google Drive sean aptos para la búsqueda, sigue estos pasos:
En la consola de Google Cloud, ve a la página Agent Builder.
Ve a la página Almacenes de datos.
Haz clic en Nuevo almacén de datos.
En la página Fuente, selecciona Google Drive.
Elige una región para tu almacén de datos.
Ingresa un nombre para tu almacén de datos. . Haz clic en Crear.
Usa la indexación avanzada de Drive (versión preliminar privada)
La indexación avanzada de Drive se encuentra en versión preliminar privada.
Sigue este procedimiento si planeas usar Google Drive con la búsqueda con resúmenes y la búsqueda con seguimientos.
Antes de comenzar:
- Debes ser administrador avanzado de Google Workspace para activar el indexado avanzado de Drive. Esto se debe a que, con la indexación avanzada de Drive, Vertex AI Search indexa los datos de Google Drive.
- Debes estar en la lista de entidades permitidas para usar esta función.
Console
Para usar la consola y crear un almacén de datos de Google Drive con indexación avanzada de Google Drive, sigue estos pasos:
En la consola de Google Cloud, ve a la página Agent Builder.
Ve a la página Almacenes de datos.
Haz clic en Nuevo almacén de datos.
En la página Fuente, selecciona Google Drive.
Selecciona Indexación avanzada de Drive.
Ingresa tu dirección de correo electrónico de Google Workspace.
En la sección Configura la delegación en todo el dominio, revisa las instrucciones y toma nota del ID de cliente de la cuenta de servicio que se proporciona en el paso 4 de esa sección.
Configura la delegación de todo el dominio:
- Ve a la página Delegación de todo el dominio de la Consola del administrador de Google Workspace y accede con tu cuenta de administrador avanzado.
- Haz clic en Agregar nueva.
- Ingresa el ID de cliente de la cuenta de servicio que tomaste nota. (este ID se proporciona en las instrucciones de la consola de Agent Builder, en la sección Configurar la delegación de todo el dominio).
Ingresa los siguientes permisos de OAuth.
https://www.googleapis.com/auth/drive.readonly, https://www.googleapis.com/auth/admin.directory.user.readonly, https://www.googleapis.com/auth/admin.directory.group.readonly, https://www.googleapis.com/auth/admin.directory.domain.readonly, https://www.googleapis.com/auth/admin.reports.audit.readonly
Haz clic en Autorizar.
En la consola de Agent Builder, haz clic en Continuar.
Elige una región para tu almacén de datos.
Ingresa un nombre para tu almacén de datos.
Haz clic en Crear. Según el tamaño de tus datos, la transferencia puede tardar varios minutos o varias horas. Espera al menos una hora antes de usar tu almacén de datos para realizar búsquedas.
Próximos pasos
Para conectar tu almacén de datos a una app, crea una app y selecciona tu almacén de datos siguiendo los pasos que se indican en Cómo crear una app de búsqueda.
Para obtener una vista previa de cómo aparecen los resultados de la búsqueda después de configurar tu app y el almacén de datos, consulta Cómo obtener resultados de la búsqueda.
Cómo conectarte a Gmail
Para buscar datos de Gmail, sigue estos pasos para crear un almacén de datos y transferir datos con la consola de Google Cloud.
Antes de comenzar:
Debes acceder a la consola de Google Cloud con la misma cuenta que usas para la instancia de Google Workspace que planeas conectar. Vertex AI Search usa tu ID de cliente de Google Workspace para conectarse a Gmail.
Configura el control de acceso para Gmail. Para obtener información sobre cómo configurar el control de acceso, consulta Cómo usar el control de acceso a la fuente de datos.
Console
Para usar la consola y hacer que los datos de Gmail sean aptos para la búsqueda, sigue estos pasos:
En la consola de Google Cloud, ve a la página Agent Builder.
Ve a la página Almacenes de datos.
Haz clic en Nuevo almacén de datos.
En la página Fuente, selecciona Google Gmail.
Elige una región para tu almacén de datos.
Ingresa un nombre para tu almacén de datos.
Haz clic en Crear.
Próximos pasos
Para conectar tu almacén de datos a una app, crea una app y selecciona tu almacén de datos siguiendo los pasos que se indican en Cómo crear una app de búsqueda.
Para obtener una vista previa de cómo aparecen los resultados de la búsqueda después de configurar tu app y el almacén de datos, consulta Cómo obtener resultados de la búsqueda.
Cómo conectarse a Google Sites
Para buscar datos de Google Sites, sigue estos pasos para crear un conector con la consola de Google Cloud.
Antes de comenzar:
Debes acceder a la consola de Google Cloud con la misma cuenta que usas para la instancia de Google Workspace que planeas conectar. Vertex AI Search usa tu ID de cliente de Google Workspace para conectarse a Google Sites.
Configura el control de acceso de Google Sites. Para obtener información sobre cómo configurar el control de acceso, consulta Cómo usar el control de acceso a la fuente de datos.
Console
Para usar la consola y hacer que los datos de Google Sites sean aptos para la búsqueda, sigue estos pasos:
En la consola de Google Cloud, ve a la página Agent Builder.
Ve a la página Almacenes de datos.
Haz clic en Nuevo almacén de datos.
En la página Fuente, selecciona Sitios de Google.
Elige una región para tu almacén de datos.
Ingresa un nombre para tu almacén de datos.
Haz clic en Crear.
Próximos pasos
Para conectar tu almacén de datos a una app, crea una app y selecciona tu almacén de datos siguiendo los pasos que se indican en Cómo crear una app de búsqueda.
Para obtener una vista previa de cómo aparecen los resultados de la búsqueda después de configurar tu app y el almacén de datos, consulta Cómo obtener resultados de la búsqueda.
Cómo conectarse al Calendario de Google
Para buscar datos del Calendario de Google, sigue estos pasos para crear un conector con la consola de Google Cloud.
Antes de comenzar:
Debes acceder a la consola de Google Cloud con la misma cuenta que usas para la instancia de Google Workspace que planeas conectar. Vertex AI Search usa tu ID de cliente de Google Workspace para conectarse al Calendario de Google.
Configura el control de acceso del Calendario de Google. Para obtener información sobre cómo configurar el control de acceso, consulta Cómo usar el control de acceso a la fuente de datos.
Console
Para usar la consola y hacer que los datos del Calendario de Google sean aptos para la búsqueda, sigue estos pasos:
En la consola de Google Cloud, ve a la página Agent Builder.
Ve a la página Almacenes de datos.
Haz clic en Nuevo almacén de datos.
En la página Fuente, selecciona Calendario de Google.
Elige una región para tu almacén de datos.
Ingresa un nombre para tu almacén de datos.
Haz clic en Crear.
Próximos pasos
Para conectar tu almacén de datos a una app, crea una app y selecciona tu almacén de datos siguiendo los pasos que se indican en Cómo crear una app de búsqueda.
Para obtener una vista previa de cómo aparecen los resultados de la búsqueda después de configurar tu app y el almacén de datos, consulta Cómo obtener resultados de la búsqueda.
Cómo conectarse a Grupos de Google
Para buscar datos de Grupos de Google, sigue estos pasos para crear un conector con la consola de Google Cloud.
Antes de comenzar:
Debes acceder a la consola de Google Cloud con la misma cuenta que usas para la instancia de Google Workspace que planeas conectar. Vertex AI Search usa tu ID de cliente de Google Workspace para conectarse a Grupos de Google.
Configura el control de acceso para Grupos de Google. Para obtener información sobre cómo configurar el control de acceso, consulta Cómo usar el control de acceso a la fuente de datos.
Console
Para usar la consola y hacer que los datos de Grupos de Google sean aptos para la búsqueda, sigue estos pasos:
En la consola de Google Cloud, ve a la página Agent Builder.
Ve a la página Almacenes de datos.
Haz clic en Nuevo almacén de datos.
En la página Fuente, selecciona Grupos de Google.
Elige una región para tu almacén de datos.
Ingresa un nombre para tu almacén de datos.
Haz clic en Crear. Según el tamaño de tus datos, la transferencia puede tardar varios minutos o varias horas. Espera al menos una hora antes de usar tu almacén de datos para realizar búsquedas.
Próximos pasos
Para conectar tu almacén de datos a una app, crea una app y selecciona tu almacén de datos siguiendo los pasos que se indican en Cómo crear una app de búsqueda.
Para obtener una vista previa de cómo aparecen los resultados de la búsqueda después de configurar tu app y el almacén de datos, consulta Cómo obtener resultados de la búsqueda.
Cómo sincronizar datos de contactos desde Google Workspace
Puedes configurar la búsqueda de personas para tus equipos de trabajo sincronizando los datos de las personas desde Google Workspace. Estos datos se sincronizan de forma continua con Vertex AI Search después de crear tu almacén de datos.
Las personas de tu directorio se muestran en los resultados de la búsqueda como tarjetas que muestran la información de perfil disponible de cada persona, como el nombre, la dirección de correo electrónico, la organización y la foto de perfil. Puedes hacer clic en una tarjeta para ver la página de detalles de esa persona.
Requisitos previos
Determina con qué proveedor de identidad accederán tus usuarios a tu app. Si usas un proveedor de identidad de terceros, un administrador debe federar tu proveedor de identidad con Google Workspace. La integración puede llevar mucho tiempo de planificación y configuración. Para obtener más información, consulta Cómo usar el control de acceso a la fuente de datos.
Un administrador de Google Workspace debe habilitar la búsqueda de personas en los datos de Google Workspace. Para ello, deberás hacer lo siguiente:
- Accede a la Consola del administrador de Google con una cuenta de administrador.
- En la Consola del administrador, ve a Directorio > Configuración del directorio.
- Activa Uso compartido de contactos.
Accede a la consola de Google Cloud con la misma cuenta desde la que planeas conectar Google Workspace.
Conecta con tu proveedor de identidad siguiendo los pasos que se indican en Cómo conectar tu proveedor de identidad y especifica Cloud Identity como tu proveedor.
Para obtener información sobre el directorio de Google Workspace, consulta Descripción general: Configura y administra el directorio en la documentación de Google Workspace.
Crea un almacén de datos de búsqueda de personas
Console
Para usar la consola y transferir datos de personas, sigue estos pasos:
En la consola de Google Cloud, ve a la página Agent Builder.
Ve a la página Almacenes de datos.
Haz clic en Crear almacén de datos.
En la página Fuente, selecciona Búsqueda de personas.
Elige una región para tu almacén de datos.
Ingresa un nombre para tu almacén de datos.
Haz clic en Crear. Según el tamaño de tus datos, la sincronización puede tardar varios minutos o varias horas.
Próximos pasos
Para conectar tu almacén de datos a una app, crea una app y selecciona tu almacén de datos siguiendo los pasos que se indican en Cómo crear una app de búsqueda.
Para obtener una vista previa de cómo aparecen los resultados de la búsqueda después de configurar tu app y el almacén de datos, consulta Cómo obtener resultados de la búsqueda.
Importar desde Cloud SQL
Para transferir datos desde Cloud SQL, sigue estos pasos para configurar el acceso a Cloud SQL, crear un almacén de datos y transferir datos.
Configura el acceso al bucket de etapa para las instancias de Cloud SQL
Cuando se transfieren datos desde Cloud SQL, primero se transfieren a un bucket de Cloud Storage. Sigue estos pasos para otorgar acceso a una instancia de Cloud SQL a los buckets de Cloud Storage.
En la consola de Google Cloud, ve a la página SQL.
Haz clic en la instancia de Cloud SQL desde la que planeas realizar la importación.
Copia el identificador de la cuenta de servicio de la instancia, que se parece a una dirección de correo electrónico, por ejemplo,
p9876-abcd33f@gcp-sa-cloud-sql.iam.gserviceaccount.com
.Ir a la página IAM y administración
Haz clic en Otorgar acceso.
En Principales nuevas, ingresa el identificador de la cuenta de servicio de la instancia y selecciona el rol Cloud Storage > Administrador de almacenamiento.
Haz clic en Guardar.
Siguiente:
Si tus datos de Cloud SQL están en el mismo proyecto que Vertex AI Search, ve a Importa datos desde Cloud SQL.
Si tus datos de Cloud SQL están en un proyecto diferente al de tu proyecto de Búsqueda de Vertex AI, ve a Configura el acceso a Cloud SQL desde otro proyecto.
Configura el acceso a Cloud SQL desde otro proyecto
Para otorgarle a Vertex AI Search acceso a los datos de Cloud SQL que se encuentran en un proyecto diferente, sigue estos pasos:
Reemplaza la siguiente variable
PROJECT_NUMBER
por el número de proyecto de Vertex AI Search y, luego, copia el contenido del bloque de código. Este es el identificador de tu cuenta de servicio de Vertex AI Search:service-PROJECT_NUMBER@gcp-sa-discoveryengine.iam.gserviceaccount.com`
Ir a la página IAM y administración
Cambia a tu proyecto de Cloud SQL en la página IAM y administración y haz clic en Otorgar acceso.
En Principales nuevas, ingresa el identificador de la cuenta de servicio y selecciona el rol Cloud SQL > Visualizador de Cloud SQL.
Haz clic en Guardar.
A continuación, ve a Importa datos desde Cloud SQL.
Importa datos desde Cloud SQL
Console
Para usar la consola y transferir datos de Cloud SQL, sigue estos pasos:
En la consola de Google Cloud, ve a la página Agent Builder.
Ve a la página Almacenes de datos.
Haz clic en Nuevo almacén de datos.
En la página Fuente, selecciona Cloud SQL.
Especifica el ID del proyecto, el ID de la instancia, el ID de la base de datos y el ID de la tabla de los datos que planeas importar.
Haz clic en Explorar, elige una ubicación intermedia de Cloud Storage a la que exportar los datos y, luego, haz clic en Seleccionar. Como alternativa, ingresa la ubicación directamente en el campo
gs://
.Selecciona si quieres activar la exportación sin servidores. La exportación sin servidores genera un costo adicional. Para obtener información sobre la exportación sin servidores, consulta Cómo minimizar el impacto en el rendimiento de las exportaciones en la documentación de Cloud SQL.
Haga clic en Continuar.
Elige una región para tu almacén de datos.
Ingresa un nombre para tu almacén de datos.
Haz clic en Crear.
Para verificar el estado de la transferencia, ve a la página Almacenes de datos y haz clic en el nombre de tu almacén de datos para ver los detalles en la página Datos. Cuando la columna de estado de la pestaña Actividad cambie de En curso a Importación completada, se habrá completado la transferencia.
Según el tamaño de tus datos, la transferencia puede tardar varios minutos o varias horas.
REST
Para usar la línea de comandos y crear un almacén de datos y transferir datos desde Cloud SQL, sigue estos pasos:
Crea un almacén de datos.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_SEARCH"], }'
Reemplaza lo siguiente:
PROJECT_ID
: Es el ID del proyectoDATA_STORE_ID
: Es el ID del almacén de datos. El ID solo puede contener letras minúsculas, dígitos, guiones bajos y guiones.DISPLAY_NAME
: Es el nombre visible del almacén de datos. Es posible que esto se muestre en la consola de Google Cloud.
Importa datos desde Cloud SQL.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "cloudSqlSource": { "projectId": "SQL_PROJECT_ID", "instanceId": "INSTANCE_ID", "databaseId": "DATABASE_ID", "tableId": "TABLE_ID", "gcsStagingDir": "STAGING_DIRECTORY" }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", }'
Reemplaza lo siguiente:
PROJECT_ID
: El ID de tu proyecto de Vertex AI Search.DATA_STORE_ID
: Es el ID del almacén de datos. El ID solo puede contener letras minúsculas, dígitos, guiones bajos y guiones.SQL_PROJECT_ID
: El ID de tu proyecto de Cloud SQL.INSTANCE_ID
: Es el ID de tu instancia de Cloud SQL.DATABASE_ID
: Es el ID de tu base de datos de Cloud SQL.TABLE_ID
: Es el ID de tu tabla de Cloud SQL.STAGING_DIRECTORY
: Opcional Un directorio de Cloud Storage, por ejemplo,gs://<your-gcs-bucket>/directory/import_errors
.RECONCILIATION_MODE
: Opcional Los valores sonFULL
yINCREMENTAL
. El valor predeterminado esINCREMENTAL
. EspecificarINCREMENTAL
provoca una actualización incremental de los datos de Cloud SQL a tu almacén de datos. Esto realiza una operación de inserción y actualización, que agrega documentos nuevos y reemplaza los existentes por documentos actualizados con el mismo ID. EspecificarFULL
causa una rebase completa de los documentos en tu almacén de datos. En otras palabras, se agregan documentos nuevos y actualizados a tu almacén de datos, y se quitan los documentos que no están en Cloud SQL. El modoFULL
es útil si quieres borrar automáticamente los documentos que ya no necesitas.
Python
Para obtener más información, consulta la documentación de referencia de la API de Python del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importar documentos
Próximos pasos
Para conectar tu almacén de datos a una app, crea una app y selecciona tu almacén de datos siguiendo los pasos que se indican en Cómo crear una app de búsqueda.
Para obtener una vista previa de cómo aparecen los resultados de la búsqueda después de configurar tu app y el almacén de datos, consulta Cómo obtener resultados de la búsqueda.
Importa desde Spanner
Para transferir datos de Spanner, sigue estos pasos para crear un almacén de datos y transferir datos con la consola de Google Cloud o la API.
Configura el acceso a Spanner desde otro proyecto
Si tus datos de Spanner están en el mismo proyecto que la búsqueda de Vertex AI, ve a Importa datos desde Spanner.
Para otorgarle a la Búsqueda de Vertex AI acceso a los datos de Spanner que se encuentran en un proyecto diferente, sigue estos pasos:
Reemplaza la siguiente variable
PROJECT_NUMBER
por el número de proyecto de Vertex AI Search y, luego, copia el contenido de este bloque de código. Este es el identificador de tu cuenta de servicio de Vertex AI Search:service-PROJECT_NUMBER@gcp-sa-discoveryengine.iam.gserviceaccount.com
Ir a la página IAM y administración
Cambia a tu proyecto de Spanner en la página IAM y administración y haz clic en Otorgar acceso.
En Principales nuevas, ingresa el identificador de la cuenta de servicio y selecciona una de las siguientes opciones:
- Si no usarás el aumento de datos durante la importación, selecciona el rol Cloud Spanner > Lector de bases de datos de Cloud Spanner.
- Si planeas usar Data Boost durante la importación, selecciona el rol Cloud Spanner > Administrador de bases de datos de Cloud Spanner o un rol personalizado con los permisos de Lector de base de datos de Cloud Spanner y spanner.databases.useDataBoost. Para obtener información sobre Data Boost, consulta la descripción general de Data Boost en la documentación de Spanner.
Haz clic en Guardar.
A continuación, ve a Importar datos de Spanner.
Importa datos de Spanner
Console
Para usar la consola y transferir datos de Spanner, sigue estos pasos:
En la consola de Google Cloud, ve a la página Agent Builder.
Ve a la página Almacenes de datos.
Haz clic en Nuevo almacén de datos.
En la página Fuente, selecciona Cloud Spanner.
Especifica el ID del proyecto, el ID de la instancia, el ID de la base de datos y el ID de la tabla de los datos que planeas importar.
Selecciona si quieres activar el aumento de datos. Para obtener información sobre Data Boost, consulta la descripción general de Data Boost en la documentación de Spanner.
Haga clic en Continuar.
Elige una región para tu almacén de datos.
Ingresa un nombre para tu almacén de datos.
Haz clic en Crear.
Para verificar el estado de la transferencia, ve a la página Almacenes de datos y haz clic en el nombre de tu almacén de datos para ver los detalles en la página Datos. Cuando la columna de estado de la pestaña Actividad cambie de En curso a Importación completada, se habrá completado la transferencia.
Según el tamaño de tus datos, la transferencia puede tardar varios minutos o varias horas.
REST
Para usar la línea de comandos y crear un almacén de datos y transferir datos desde Spanner, sigue estos pasos:
Crea un almacén de datos.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_SEARCH"], "contentConfig": "CONTENT_REQUIRED", }'
Reemplaza lo siguiente:
PROJECT_ID
: El ID de tu proyecto de Vertex AI Search.DATA_STORE_ID
: Es el ID del almacén de datos. El ID solo puede contener letras minúsculas, dígitos, guiones bajos y guiones.DISPLAY_NAME
: Es el nombre visible del almacén de datos. Es posible que esto se muestre en la consola de Google Cloud.
Importa datos de Spanner.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "cloudSpannerSource": { "projectId": "SPANNER_PROJECT_ID", "instanceId": "INSTANCE_ID", "databaseId": "DATABASE_ID", "tableId": "TABLE_ID", "enableDataBoost": "DATA_BOOST_BOOLEAN" }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", }'
Reemplaza lo siguiente:
PROJECT_ID
: El ID de tu proyecto de Vertex AI Search.DATA_STORE_ID
: Es el ID del almacén de datos.SPANNER_PROJECT_ID
: Es el ID de tu proyecto de Spanner.INSTANCE_ID
: Es el ID de tu instancia de Spanner.DATABASE_ID
: Es el ID de tu base de datos de Spanner.TABLE_ID
: Es el ID de tu tabla de Spanner.DATA_BOOST_BOOLEAN
: Opcional Si quieres activar Data Boost. Para obtener información sobre Data Boost, consulta la descripción general de Data Boost en la documentación de Spanner.RECONCILIATION_MODE
: Opcional Los valores sonFULL
yINCREMENTAL
. El valor predeterminado esINCREMENTAL
. EspecificarINCREMENTAL
provoca una actualización incremental de los datos de Spanner a tu almacén de datos. Esto realiza una operación de inserción y actualización, que agrega documentos nuevos y reemplaza los existentes por documentos actualizados con el mismo ID. EspecificarFULL
provoca una rebase completa de los documentos en tu almacén de datos. En otras palabras, se agregan documentos nuevos y actualizados a tu almacén de datos, y se quitan los documentos que no están en Spanner. El modoFULL
es útil si quieres borrar automáticamente los documentos que ya no necesitas.AUTO_GENERATE_IDS
: Opcional Especifica si se deben generar automáticamente los IDs de documento. Si se establece entrue
, los IDs de los documentos se generan en función de un hash de la carga útil. Ten en cuenta que los IDs de documentos generados pueden no mantenerse coherentes en varias importaciones. Si generas IDs automáticamente en varias importaciones, Google recomienda configurarreconciliationMode
comoFULL
para mantener IDs de documentos coherentes.ID_FIELD
: Opcional Especifica qué campos son los IDs de los documentos.
Python
Para obtener más información, consulta la documentación de referencia de la API de Python del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importar documentos
Próximos pasos
Para conectar tu almacén de datos a una app, crea una app y selecciona tu almacén de datos siguiendo los pasos que se indican en Cómo crear una app de búsqueda.
Para obtener una vista previa de cómo aparecen los resultados de la búsqueda después de configurar tu app y el almacén de datos, consulta Cómo obtener resultados de la búsqueda.
Importa desde Firestore
Para transferir datos desde Firestore, sigue estos pasos para crear un almacén de datos y transferir datos con la consola de Google Cloud o la API.
Si tus datos de Firestore están en el mismo proyecto que Vertex AI Search, ve a Importa datos desde Firestore.
Si tus datos de Firestore están en un proyecto diferente al de Vertex AI Search, ve a Configurar el acceso a Firestore.
Configura el acceso a Firestore desde otro proyecto
Para otorgarle a Vertex AI Search acceso a los datos de Firestore que se encuentran en un proyecto diferente, sigue estos pasos:
Reemplaza la siguiente variable
PROJECT_NUMBER
por el número de proyecto de Vertex AI Search y, luego, copia el contenido de este bloque de código. Este es el identificador de tu cuenta de servicio de Vertex AI Search:service-PROJECT_NUMBER@gcp-sa-discoveryengine.iam.gserviceaccount.com
Ir a la página IAM y administración
Cambia a tu proyecto de Firestore en la página IAM y administración y haz clic en Otorgar acceso.
En Principales nuevas, ingresa el identificador de la cuenta de servicio de la instancia y selecciona el rol Datastore > Administrador de importación y exportación de Cloud Datastore.
Haz clic en Guardar.
Regresa a tu proyecto de Vertex AI Search.
A continuación, ve a Importa datos de Firestore.
Importa datos de Firestore
Console
Para usar la consola y transferir datos de Firestore, sigue estos pasos:
En la consola de Google Cloud, ve a la página Agent Builder.
Ve a la página Almacenes de datos.
Haz clic en Nuevo almacén de datos.
En la página Fuente, selecciona Firestore.
Especifica el ID del proyecto, el ID de la base de datos y el ID de la colección de los datos que planeas importar.
Haga clic en Continuar.
Elige una región para tu almacén de datos.
Ingresa un nombre para tu almacén de datos.
Haz clic en Crear.
Para verificar el estado de la transferencia, ve a la página Almacenes de datos y haz clic en el nombre de tu almacén de datos para ver los detalles en la página Datos. Cuando la columna de estado de la pestaña Actividad cambie de En curso a Importación completada, se habrá completado la transferencia.
Según el tamaño de tus datos, la transferencia puede tardar varios minutos o varias horas.
REST
Para usar la línea de comandos y crear un almacén de datos y transferir datos desde Firestore, sigue estos pasos:
Crea un almacén de datos.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_SEARCH"], }'
Reemplaza lo siguiente:
PROJECT_ID
: Es el ID del proyectoDATA_STORE_ID
: Es el ID del almacén de datos. El ID solo puede contener letras minúsculas, dígitos, guiones bajos y guiones.DISPLAY_NAME
: Es el nombre visible del almacén de datos. Es posible que esto se muestre en la consola de Google Cloud.
Importa datos de Firestore.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "firestoreSource": { "projectId": "FIRESTORE_PROJECT_ID", "databaseId": "DATABASE_ID", "collectionId": "COLLECTION_ID", }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", }'
Reemplaza lo siguiente:
PROJECT_ID
: El ID de tu proyecto de Vertex AI Search.DATA_STORE_ID
: Es el ID del almacén de datos. El ID solo puede contener letras minúsculas, dígitos, guiones bajos y guiones.FIRESTORE_PROJECT_ID
: Es el ID de tu proyecto de Firestore.DATABASE_ID
: El ID de tu base de datos de Firestore.COLLECTION_ID
: Es el ID de tu colección de Firestore.RECONCILIATION_MODE
: Opcional Los valores sonFULL
yINCREMENTAL
. El valor predeterminado esINCREMENTAL
. EspecificarINCREMENTAL
provoca una actualización incremental de los datos de Firestore a tu almacén de datos. Esto realiza una operación de inserción y actualización, que agrega documentos nuevos y reemplaza los existentes por documentos actualizados con el mismo ID. EspecificarFULL
causa una rebase completa de los documentos en tu almacén de datos. En otras palabras, los documentos nuevos y actualizados se agregan a tu almacén de datos, y los documentos que no están en Firestore se quitan de tu almacén de datos. El modoFULL
es útil si quieres borrar automáticamente los documentos que ya no necesitas.AUTO_GENERATE_IDS
: Opcional Especifica si se deben generar automáticamente los IDs de documento. Si se establece entrue
, los IDs de los documentos se generan en función de un hash de la carga útil. Ten en cuenta que los IDs de documentos generados pueden no mantenerse coherentes en varias importaciones. Si generas IDs automáticamente en varias importaciones, Google recomienda configurarreconciliationMode
comoFULL
para mantener IDs de documentos coherentes.ID_FIELD
: Opcional Especifica qué campos son los IDs de los documentos.
Python
Para obtener más información, consulta la documentación de referencia de la API de Python del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importar documentos
Próximos pasos
Para conectar tu almacén de datos a una app, crea una app y selecciona tu almacén de datos siguiendo los pasos que se indican en Cómo crear una app de búsqueda.
Para obtener una vista previa de cómo aparecen los resultados de la búsqueda después de configurar tu app y el almacén de datos, consulta Cómo obtener resultados de la búsqueda.
Importa desde Bigtable
Para transferir datos de Bigtable, sigue los pasos que se indican a continuación para crear un almacén de datos y transferir datos con la API.
Configura el acceso a Bigtable
Para otorgarle a la Búsqueda de Vertex AI acceso a los datos de Bigtable que se encuentran en un proyecto diferente, sigue estos pasos:
Reemplaza la siguiente variable
PROJECT_NUMBER
por el número de proyecto de Vertex AI Search y, luego, copia el contenido de este bloque de código. Este es el identificador de tu cuenta de servicio de Vertex AI Search:service-PROJECT_NUMBER@gcp-sa-discoveryengine.iam.gserviceaccount.com`
Ir a la página IAM y administración
Cambia a tu proyecto de Bigtable en la página IAM y administración y haz clic en Otorgar acceso.
En Principales nuevas, ingresa el identificador de la cuenta de servicio de la instancia y selecciona el rol Bigtable > Lector de Bigtable.
Haz clic en Guardar.
Regresa a tu proyecto de Vertex AI Search.
A continuación, ve a Importa datos de Bigtable.
Importa datos desde Bigtable
REST
Para usar la línea de comandos y crear un almacén de datos y transferir datos desde Bigtable, sigue estos pasos:
Crea un almacén de datos.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_SEARCH"], }'
Reemplaza lo siguiente:
PROJECT_ID
: Es el ID del proyectoDATA_STORE_ID
: Es el ID del almacén de datos. El ID solo puede contener letras minúsculas, dígitos, guiones bajos y guiones.DISPLAY_NAME
: Es el nombre visible del almacén de datos. Es posible que esto se muestre en la consola de Google Cloud.
Importa datos de Bigtable.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "bigtableSource ": { "projectId": "BIGTABLE_PROJECT_ID", "instanceId": "INSTANCE_ID", "tableId": "TABLE_ID", "bigtableOptions": { "keyFieldName": "KEY_FIELD_NAME", "families": { "key": "KEY", "value": { "fieldName": "FIELD_NAME", "encoding": "ENCODING", "type": "TYPE", "columns": [ { "qualifier": "QUALIFIER", "fieldName": "FIELD_NAME", "encoding": "COLUMN_ENCODING", "type": "COLUMN_VALUES_TYPE" } ] } } ... } }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", }'
Reemplaza lo siguiente:
PROJECT_ID
: El ID de tu proyecto de Vertex AI Search.DATA_STORE_ID
: Es el ID del almacén de datos. El ID solo puede contener letras minúsculas, dígitos, guiones bajos y guiones.BIGTABLE_PROJECT_ID
: Es el ID de tu proyecto de Bigtable.INSTANCE_ID
: Es el ID de tu instancia de Bigtable.TABLE_ID
: Es el ID de tu tabla de Bigtable.KEY_FIELD_NAME
: Opcional, pero recomendado. Es el nombre del campo que se usará para el valor de clave de fila después de transferir los datos a Vertex AI Search.KEY
: Obligatorio. Es un valor de cadena para la clave de la familia de columnas.ENCODING
: Opcional Es el modo de codificación de los valores cuando el tipo no es STRING.Se puede anular para una columna específica enumerando esa columna encolumns
y especificando una codificación para ella.COLUMN_TYPE
: Opcional Es el tipo de valores de esta familia de columnas.QUALIFIER
: Obligatorio. Es el calificador de la columna.FIELD_NAME
: Opcional, pero recomendado. Es el nombre del campo que se usará para esta columna después de transferirla a Vertex AI Search.COLUMN_ENCODING
: Opcional Es el modo de codificación de los valores de una columna específica cuando el tipo no es STRING.RECONCILIATION_MODE
: Opcional Los valores sonFULL
yINCREMENTAL
. El valor predeterminado esINCREMENTAL
. EspecificarINCREMENTAL
provoca una actualización incremental de los datos de Bigtable a tu almacén de datos. Esto realiza una operación de inserción y actualización, que agrega documentos nuevos y reemplaza los existentes por documentos actualizados con el mismo ID. EspecificarFULL
causa una rebase completa de los documentos en tu almacén de datos. En otras palabras, los documentos nuevos y actualizados se agregan a tu almacén de datos, y los documentos que no están en Bigtable se quitan de tu almacén de datos. El modoFULL
es útil si quieres borrar automáticamente los documentos que ya no necesitas.AUTO_GENERATE_IDS
: Opcional Especifica si se deben generar automáticamente los IDs de documento. Si se establece entrue
, los IDs de los documentos se generan en función de un hash de la carga útil. Ten en cuenta que los IDs de documentos generados pueden no mantenerse coherentes en varias importaciones. Si generas IDs automáticamente en varias importaciones, Google recomienda configurarreconciliationMode
comoFULL
para mantener IDs de documentos coherentes.Especifica
autoGenerateIds
solo cuandobigquerySource.dataSchema
se configura comocustom
. De lo contrario, se muestra un errorINVALID_ARGUMENT
. Si no especificasautoGenerateIds
o lo configuras enfalse
, debes especificaridField
. De lo contrario, no se importarán los documentos.ID_FIELD
: Opcional Especifica qué campos son los IDs de los documentos.
Python
Para obtener más información, consulta la documentación de referencia de la API de Python del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importar documentos
Próximos pasos
Para conectar tu almacén de datos a una app, crea una app y selecciona tu almacén de datos siguiendo los pasos que se indican en Cómo crear una app de búsqueda.
Para obtener una vista previa de cómo aparecen los resultados de la búsqueda después de configurar tu app y el almacén de datos, consulta Cómo obtener resultados de la búsqueda.
Importa desde AlloyDB para PostgreSQL
Para transferir datos de AlloyDB para PostgreSQL, sigue estos pasos para crear un almacén de datos y transferir datos con la consola de Google Cloud o la API.
Si tus datos de AlloyDB para PostgreSQL están en el mismo proyecto que el proyecto de Búsqueda de Vertex AI, ve a Cómo importar datos desde AlloyDB para PostgreSQL.
Si tus datos de AlloyDB para PostgreSQL están en un proyecto diferente al de tu proyecto de búsqueda de Vertex AI, ve a Configurar el acceso a AlloyDB para PostgreSQL.
Configura el acceso a AlloyDB para PostgreSQL desde otro proyecto
Para otorgarle a la Búsqueda de Vertex AI acceso a los datos de AlloyDB para PostgreSQL que se encuentran en un proyecto diferente, sigue estos pasos:
Reemplaza la siguiente variable
PROJECT_NUMBER
por el número de proyecto de Vertex AI Search y, luego, copia el contenido de este bloque de código. Este es el identificador de tu cuenta de servicio de Vertex AI Search:service-PROJECT_NUMBER@gcp-sa-discoveryengine.iam.gserviceaccount.com
Cambia al proyecto de Google Cloud en el que residen tus datos de AlloyDB para PostgreSQL.
Ir a la página IAM.
Haz clic en Otorgar acceso.
En Principales nuevas, ingresa el identificador de la cuenta de servicio de Vertex AI Search y selecciona el rol Cloud AlloyDB > Administrador de Cloud AlloyDB.
Haz clic en Guardar.
Regresa a tu proyecto de Vertex AI Search.
A continuación, ve a Importa datos de AlloyDB para PostgreSQL.
Importa datos de AlloyDB para PostgreSQL
Console
Para usar la consola y transferir datos de AlloyDB para PostgreSQL, sigue estos pasos:
En la consola de Google Cloud, ve a la página Agent Builder.
En el menú de navegación, haz clic en Almacenes de datos.
Haz clic en Crear almacén de datos.
En la página Fuente, selecciona AlloyDB.
Especifica el ID del proyecto, el ID de la ubicación, el ID del clúster, el ID de la base de datos y el ID de la tabla de los datos que planeas importar.
Haga clic en Continuar.
Elige una región para tu almacén de datos.
Ingresa un nombre para tu almacén de datos.
Haz clic en Crear.
Para verificar el estado de la transferencia, ve a la página Almacenes de datos y haz clic en el nombre de tu almacén de datos para ver los detalles en la página Datos. Cuando la columna de estado de la pestaña Actividad cambie de En curso a Importación completada, se habrá completado la transferencia.
Según el tamaño de tus datos, la transferencia puede tardar varios minutos o varias horas.
REST
Para usar la línea de comandos y crear un almacén de datos y transferir datos desde AlloyDB para PostgreSQL, sigue estos pasos:
Crea un almacén de datos.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_SEARCH"], }'
Reemplaza lo siguiente:
PROJECT_ID
: Es el ID del proyectoDATA_STORE_ID
: Es el ID del almacén de datos. El ID solo puede contener letras minúsculas, dígitos, guiones bajos y guiones.DISPLAY_NAME
: Es el nombre visible del almacén de datos. Es posible que esto se muestre en la consola de Google Cloud.
Importa datos de AlloyDB para PostgreSQL.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "alloydbSource": { "projectId": "ALLOYDB_PROJECT_ID", "locationId": "LOCATION_ID", "clusterId": "CLUSTER_ID", "databaseId": "DATABASE_ID", "tableId": "TABLE_ID", }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", }'
Reemplaza lo siguiente:
PROJECT_ID
: El ID de tu proyecto de Vertex AI Search.DATA_STORE_ID
: Es el ID del almacén de datos. El ID solo puede contener letras minúsculas, dígitos, guiones bajos y guiones.ALLOYDB_PROJECT_ID
: El ID de tu proyecto de AlloyDB para PostgreSQL.LOCATION_ID
: Es el ID de tu ubicación de AlloyDB para PostgreSQL.CLUSTER_ID
: Es el ID de tu clúster de AlloyDB para PostgreSQL.DATABASE_ID
: Es el ID de tu base de datos de AlloyDB para PostgreSQL.TABLE_ID
: Es el ID de tu tabla de AlloyDB para PostgreSQL.RECONCILIATION_MODE
: Opcional Los valores sonFULL
yINCREMENTAL
. El valor predeterminado esINCREMENTAL
. EspecificarINCREMENTAL
provoca una actualización incremental de los datos de AlloyDB para PostgreSQL a tu almacén de datos. Esto realiza una operación de inserción y actualización, que agrega documentos nuevos y reemplaza los existentes por documentos actualizados con el mismo ID. EspecificarFULL
causa una rebase completa de los documentos en tu almacén de datos. En otras palabras, se agregan documentos nuevos y actualizados a tu almacén de datos, y se quitan los documentos que no están en AlloyDB para PostgreSQL. El modoFULL
es útil si quieres borrar automáticamente los documentos que ya no necesitas.AUTO_GENERATE_IDS
: Opcional Especifica si se deben generar automáticamente los IDs de documento. Si se establece entrue
, los IDs de los documentos se generan en función de un hash de la carga útil. Ten en cuenta que los IDs de documentos generados pueden no mantenerse coherentes en varias importaciones. Si generas IDs automáticamente en varias importaciones, Google recomienda configurarreconciliationMode
comoFULL
para mantener IDs de documentos coherentes.ID_FIELD
: Opcional Especifica qué campos son los IDs de los documentos.
Python
Para obtener más información, consulta la documentación de referencia de la API de Python del compilador de agentes de Vertex AI.
Para autenticarte en Vertex AI Agent Builder, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Crea un almacén de datos
Importar documentos
Próximos pasos
Para conectar tu almacén de datos a una app, crea una app y selecciona tu almacén de datos siguiendo los pasos que se indican en Cómo crear una app de búsqueda.
Para obtener una vista previa de cómo aparecen los resultados de la búsqueda después de configurar tu app y el almacén de datos, consulta Cómo obtener resultados de la búsqueda.
Sube datos JSON estructurados con la API
Para subir directamente un documento o objeto JSON con la API, sigue estos pasos.
Antes de importar tus datos, prepáralos para la transferencia.
REST
Para usar la línea de comandos y crear un almacén de datos y, luego, importar datos JSON estructurados, sigue estos pasos.
Crea un almacén de datos.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DATA_STORE_DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_SEARCH"] }'
Reemplaza lo siguiente:
PROJECT_ID
: El ID del proyecto de Google Cloud.DATA_STORE_ID
: El ID del almacén de datos de Vertex AI Search que deseas crear. Este ID solo puede contener letras en minúscula, dígitos, guiones bajos y guiones.DATA_STORE_DISPLAY_NAME
: Es el nombre visible del almacén de datos de Vertex AI Search que deseas crear.
Importa datos estructurados.
Existen algunos enfoques que puedes usar para subir datos, como los siguientes:
Sube un documento JSON.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents?documentId=DOCUMENT_ID" \ -d '{ "jsonData": "JSON_DOCUMENT_STRING" }'
Reemplaza lo siguiente:
DOCUMENT_ID
: Un ID único para el documento. Este ID puede tener hasta 63 caracteres y contener solo letras en minúscula, cifras, guiones bajos y guiones.JSON_DOCUMENT_STRING
: El documento JSON como una sola cadena. Debe cumplir con el esquema JSON que proporcionaste en el paso anterior, por ejemplo:{ \"title\": \"test title\", \"categories\": [\"cat_1\", \"cat_2\"], \"uri\": \"test uri\"}
Sube un objeto JSON.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents?documentId=DOCUMENT_ID" \ -d '{ "structData": JSON_DOCUMENT_OBJECT }'
Reemplaza
JSON_DOCUMENT_OBJECT
por el documento JSON como un objeto JSON. Debe cumplir con el esquema JSON que proporcionaste en el paso anterior, por ejemplo:```json { "title": "test title", "categories": [ "cat_1", "cat_2" ], "uri": "test uri" } ```
Actualiza con un documento JSON.
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents/DOCUMENT_ID" \ -d '{ "jsonData": "JSON_DOCUMENT_STRING" }'
Actualiza con un objeto JSON.
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents/DOCUMENT_ID" \ -d '{ "structData": JSON_DOCUMENT_OBJECT }'
Próximos pasos
Para conectar tu almacén de datos a una app, crea una app y selecciona tu almacén de datos siguiendo los pasos que se indican en Cómo crear una app de búsqueda.
Para obtener una vista previa de cómo aparecen los resultados de la búsqueda después de configurar tu app y el almacén de datos, consulta Cómo obtener resultados de la búsqueda.
Solucionar problemas de transferencia de datos
Si tienes problemas con la transferencia de datos, revisa estas sugerencias:
Si usas claves de encriptación administradas por el cliente y la importación de datos falla (con el mensaje de error
The caller does not have permission
), asegúrate de que se haya otorgado el rol de IAM de encriptador/desencriptador de CryptoKey (roles/cloudkms.cryptoKeyEncrypterDecrypter
) en la clave al agente de servicio de Cloud Storage. Para obtener más información, consulta Antes de comenzar en "Claves de encriptación administradas por el cliente".Si usas la indexación avanzada de sitios web y el Uso de documentos del almacén de datos es mucho menor de lo esperado, revisa los patrones de URL que especificaste para la indexación y asegúrate de que cubran las páginas que deseas indexar y expándelos si es necesario. Por ejemplo, si usaste
*.en.example.com/*
, es posible que debas agregar*.example.com/*
a los sitios que deseas indexar.
Crea un almacén de datos con Terraform
Puedes usar Terraform para crear un almacén de datos vacío. Después de crear el almacén de datos vacío, puedes transferir datos al almacén con la consola de Google Cloud o los comandos de la API.
Si deseas obtener más información para aplicar o quitar una configuración de Terraform, consulta los comandos básicos de Terraform.
Para crear un almacén de datos vacío con Terraform, consulta
google_discovery_engine_data_store
.