Importar desde Spanner

Para ingerir datos de Spanner, sigue estos pasos para crear un almacén de datos e ingerir datos mediante la Google Cloud consola o la API.

Configurar el acceso a Spanner desde otro proyecto

Si tus datos de Spanner están en el mismo proyecto que Gemini Enterprise, ve a Importar datos de Spanner.

Para dar acceso a Gemini Enterprise a los datos de Spanner que se encuentran en otro proyecto, sigue estos pasos:

  1. Sustituye la siguiente variable PROJECT_NUMBER por el número de tu proyecto de Gemini Enterprise y, a continuación, copia el contenido de este bloque de código. Este es el identificador de tu cuenta de servicio de Gemini Enterprise:

    service-PROJECT_NUMBER@gcp-sa-discoveryengine.

  2. Ve a la página IAM y administración.

    IAM y administración

  3. Cambia al proyecto de Spanner en la página IAM y administración y haz clic en Conceder acceso.

  4. En Principales nuevas, introduce el identificador de la cuenta de servicio y selecciona una de las siguientes opciones:

    • Si no vas a usar Data Boost durante la importación, selecciona el rol Cloud Spanner > Lector de las bases de datos de Cloud Spanner.
    • Si tienes previsto usar Data Boost durante la importación, selecciona el rol Administrador de bases de datos de Cloud Spanner o un rol personalizado con los permisos de Lector de bases de datos de Cloud Spanner y spanner.databases.useDataBoost. Para obtener información sobre Data Boost, consulta la descripción general de Data Boost en la documentación de Spanner.

  5. Haz clic en Guardar.

A continuación, ve a Importar datos de Spanner.

Importar datos de Spanner

Consola

Para usar la consola y obtener datos de Spanner, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Gemini Enterprise.

    Gemini Enterprise

  2. Vaya a la página Almacenes de datos.

  3. Haz clic en Crear almacén de datos.

  4. En la página Seleccionar una fuente de datos, selecciona Cloud Spanner.

  5. Especifique el ID del proyecto, el ID de la instancia, el ID de la base de datos y el ID de la tabla de los datos que quiere importar.

  6. Selecciona si quieres activar Data Boost. Para obtener información sobre Data Boost, consulta la descripción general de Data Boost en la documentación de Spanner.

  7. Haz clic en Continuar.

  8. Elige una región para tu almacén de datos.

  9. Escribe el nombre del almacén de datos.

  10. Haz clic en Crear.

  11. Para comprobar el estado de la ingestión, vaya a la página Almacenes de datos y haga clic en el nombre del almacén de datos para ver los detalles en la página Datos. Cuando el estado de la columna de la pestaña Actividad cambie de En curso a Importación completada, la ingesta habrá finalizado.

    En función del tamaño de los datos, la ingestión puede tardar varios minutos o varias horas.

REST

Para usar la línea de comandos para crear un almacén de datos e ingerir datos de Spanner, sigue estos pasos:

  1. Crea un almacén de datos.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \
-d '{
  "displayName": "DISPLAY_NAME",
  "industryVertical": "GENERIC",
  "solutionTypes": ["SOLUTION_TYPE_SEARCH"],
  "contentConfig": "CONTENT_REQUIRED",
}'

    Haz los cambios siguientes:

    • PROJECT_ID: el ID de tu proyecto de Gemini Enterprise.
    • DATA_STORE_ID: el ID del almacén de datos. El ID solo puede contener letras minúsculas, dígitos, guiones bajos y guiones.
    • DISPLAY_NAME: el nombre visible del almacén de datos. Puede que se muestre en la consola Google Cloud .

  2. Importar datos de Spanner.

      curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \
  -d '{
    "cloudSpannerSource": {
      "projectId": "SPANNER_PROJECT_ID",
      "instanceId": "INSTANCE_ID",
      "databaseId": "DATABASE_ID",
      "tableId": "TABLE_ID",
      "enableDataBoost": "DATA_BOOST_BOOLEAN"
    },
    "reconciliationMode": "RECONCILIATION_MODE",
    "autoGenerateIds": "AUTO_GENERATE_IDS",
    "idField": "ID_FIELD",
  }'

    Haz los cambios siguientes:

    • PROJECT_ID: el ID de tu proyecto de Gemini Enterprise.
    • DATA_STORE_ID: el ID del almacén de datos.
    • SPANNER_PROJECT_ID: el ID de tu proyecto de Spanner.
    • INSTANCE_ID: el ID de tu instancia de Spanner.
    • DATABASE_ID: el ID de tu base de datos de Spanner.
    • TABLE_ID: el ID de tu tabla de Spanner.
    • DATA_BOOST_BOOLEAN: opcional. Si quieres activar Data Boost. Para obtener información sobre Acelerador de datos, consulta la descripción general de Acelerador de datos en la documentación de Spanner.
    • RECONCILIATION_MODE: opcional. Los valores son FULL y INCREMENTAL. El valor predeterminado es INCREMENTAL. Si especifica INCREMENTAL, se realizará una actualización incremental de los datos de Spanner a su almacén de datos. Esta acción realiza una operación de upsert, que añade documentos nuevos y sustituye los documentos que ya existen por documentos actualizados con el mismo ID. Si especificas FULL, se volverán a basar todos los documentos de tu almacén de datos. Es decir, los documentos nuevos y actualizados se añaden a tu almacén de datos, y los documentos que no están en Spanner se eliminan de tu almacén de datos. El modo FULL es útil si quieres eliminar automáticamente los documentos que ya no necesitas.

    • AUTO_GENERATE_IDS: opcional. Especifica si se deben generar automáticamente los IDs de los documentos. Si se define como true, los IDs de documento se generan a partir de un hash de la carga útil. Ten en cuenta que es posible que los IDs de documento generados no sean coherentes en varias importaciones. Si generas automáticamente IDs en varias importaciones, Google te recomienda que definas reconciliationMode como FULL para mantener IDs de documento coherentes.

    • ID_FIELD: opcional. Especifica qué campos son los IDs de documento.

Pasos siguientes