Actualización automática a Firestore

En esta página, se describe la ruta de actualización de Cloud Datastore heredado a Firestore en modo Datastore.

Firestore puede operar en modo Datastore, por lo que es retrocompatible con Cloud Datastore heredado. Con Firestore en modo Datastore, puedes acceder a una capa de almacenamiento mejorada de Firestore mientras conservas el comportamiento del sistema de Datastore. Firestore en modo Datastore quita las siguientes limitaciones de Cloud Datastore heredado:

  • Las consultas ya no tienen coherencia eventual. En cambio, tienen coherencia sólida, a menos que solicites coherencia eventual de forma explícita.
  • Ya no es necesario que las consultas en transacciones sean consultas principales1.
  • Las transacciones ya no se limitan a 25 grupos de entidades1.
  • Las escrituras en un grupo de entidad ya no se limitan a 1 por segundo1.

Para obtener más información sobre el modo Datastore, consulta Firestore en modo Datastore.

A partir de junio de 2021, comenzaron las migraciones de Cloud Datastore heredado a Firestore en modo Datastore. Las migraciones comienzan a partir de bases de datos de tráfico muy bajo y se expandirán a bases de datos de tráfico más alto en los próximos meses.

1 Las bases de datos que migran al modo de simultaneidad optimista con grupos de entidad aún están sujetas al límite de transacciones de 25 grupos de entidades y al límite de 1 escritura por segundo en Firestore en modo Datastore. Las consultas en las transacciones deben ser consultas principales. Consulta la sección Optimizativo con el modo de simultaneidad de grupos de entidades para obtener más información.

Actualización automática a Firestore en modo Datastore

Si administras una aplicación que usa Cloud Datastore heredado, no necesitarás actualizar el código de la aplicación. Te notificaremos sobre el programa de la actualización de tu aplicación a Firestore en modo Datastore. La actualización no requiere tiempo de inactividad.

Si tienes preguntas adicionales sobre el proceso de actualización automática, comunícate con uno de nuestros canales de asistencia.

Etapas de actualización

En un nivel alto, seguimos este proceso para actualizar tu base de datos de Cloud Datastore heredada a Firestore en modo Datastore. Este proceso no requiere tiempo de inactividad de la aplicación:

  1. Agrega una réplica nueva de Firestore en modo Datastore a tu base de datos de Cloud Datastore heredada. Duplica de forma asíncrona las operaciones de escritura de entidades en Firestore en modo Datastore.

  2. Copiar las entradas de datos y los índices existentes de Cloud Datastore heredado a Firestore en modo Datastore Después de copiarlos, verifica los datos.

  3. Redirecciona las lecturas de entidades directamente a Firestore en modo Datastore. Primero redirecciona las lecturas de coherencia eventual y, luego, redirecciona las lecturas de coherencia sólida.

  4. Redirecciona las operaciones de escritura y las lecturas transaccionales de la entidad directamente en Firestore en modo Datastore

Este proceso usa las siguientes etapas.

1. Aplica operaciones de escritura de forma síncrona

Durante esta etapa, las escrituras se aplican de forma síncrona a Cloud Datastore heredado: las escrituras no informarán el éxito hasta que todos los cambios en las entidades y los índices se hayan aplicado a al menos una réplica. Esto simula el comportamiento de Firestore en modo Datastore, que también aplica escrituras de forma síncrona (y difiere del comportamiento predeterminado de Cloud Datastore heredado, en el que las escrituras se aplican de forma asíncrona después de la confirmación).

Esta etapa tiene como objetivo detectar cualquier impacto de latencia de las aplicaciones síncronas en Firestore en modo Datastore antes de la actualización. La aplicación síncrona de escrituras continuará durante y después de la migración.

Las bases de datos con muy poca actividad omitirán esta etapa. Para determinar si esta etapa se incluyó en la actualización de tu base de datos, inspecciona los [registros] de la etapa APPLY_WRITES_SYNCHRONOUSLY.

2. Copia y verifica

Esta etapa representa el inicio de la migración. Presentación de una réplica de Firestore en modo Datastore y realiza los siguientes pasos:

  1. Diario

    Las operaciones de escritura de entidades en Cloud Datastore heredado también comienzan a fluir a través de un canal lateral hacia la réplica de Firestore en modo Datastore. Esto sucede como parte del sistema de replicación existente de Cloud Datastore. Estas operaciones de escritura no afectan la latencia de escritura. La réplica de Firestore en modo Datastore almacena en búfer estas operaciones de escritura para aplicarlas después del paso de copia.

  2. Copiar

    En la réplica de Firestore en modo Datastore, crea una copia sin conexión de los datos existentes y las entradas de índice. El paso de copia no afecta las operaciones de Cloud Datastore heredadas. Este paso puede durar varios días.

  3. Desvía el diario

    Aplica las escrituras del paso del diario sobre los datos desde la copia sin conexión.

  4. Verifica datos

    Vuelve a verificar los datos en Firestore en modo Datastore mediante la comparación con los datos en Cloud Datastore heredado.

3. Redirecciona lecturas de coherencia eventual

Entrega lecturas de coherencia eventual (consultas sin filtro principal) desde Firestore en modo Datastore. La semántica heredada de Cloud Datastore para las lecturas aún se aplica en este punto:

  • Las consultas principales tienen coherencia sólida.
  • Las consultas no principales son de coherencia eventual.
  • Las búsquedas son de coherencia sólida (excepto las configuradas de manera explícita para coherencia eventual).

Firestore en modo Datastore sigue funcionando como una réplica de tus datos de Cloud Datastore heredados.

4. Redirecciona las lecturas de coherencia sólida

Entrega lecturas con coherencia sólida (no transaccionales) de Firestore en modo Datastore. Ten en cuenta que la semántica de Cloud Datastore heredada para las lecturas aún se aplica. Aunque las lecturas ahora provienen directamente de Firestore, Firestore aún usa Cloud Datastore heredado para garantizar que esté actualizado a fin de obtener lecturas de coherencia sólida.

5. Redirecciona escrituras

Redirecciona las escrituras de entidades y las lecturas transaccionales a Firestore en modo Datastore. Las modificaciones simultáneas en la misma entidad continúan generando anulaciones de transacciones. Las modificaciones simultáneas a diferentes entidades dentro del mismo grupo de entidades ya no dan como resultado la anulación de las transacciones.

Al comienzo de esta etapa, Firestore en modo Datastore aún depende de Cloud Datastore heredado para garantizar que esté actualizado antes de cada escritura. Después de un pase final que garantiza que se apliquen todas las escrituras anteriores, Firestore en modo Datastore deja de consultar a Cloud Datastore heredado.

6. Migración completa

Ahora se aplican las semánticas de Firestore en modo Datastore para las lecturas: todas las consultas tienen coherencia sólida.

Los precios serán los mismos, pero tu facturación ahora incluye los SKU de Firestore. La página Cuotas de App Engine comienza a mostrar el uso de Firestore en lugar del uso heredado de Cloud Datastore.

Transacciones

Firestore en modo Datastore admite tres modos de simultaneidad:

  • optimista

    La mayoría de las bases de datos de Cloud Datastore heredadas usarán simultaneidad optimista para las transacciones en Firestore en modo Datastore. La simultaneidad optimista conserva los comportamientos existentes de las transacciones en Cloud Datastore heredado.

  • optimista con grupos de entidad

    Las bases de datos que dependen de la semántica transaccional del grupo de entidad migrarán a este modo de simultaneidad. Consulta la sección Optimización del modo de simultaneidad de grupos de entidades para obtener más información.

  • Pesimista

    Algunas bases de datos que se migraron con poca actividad se migraron con bloqueos pesimistas para las transacciones en Firestore en modo Datastore.

Se puede acceder al modo de simultaneidad a través del recurso de REST projects.databases de Firestore:

curl -X GET -H "Authorization: Bearer "$(gcloud auth print-access-token) \
"https://firestore.googleapis.com/v1/projects/PROJECT_ID/databases"

El modo de simultaneidad también se puede encontrar si inspeccionas los registros de la etapa PREPARE.

optimista con el modo de simultaneidad de grupos de entidades

Para quitar optimista con limitaciones de capacidad de procesamiento de consulta, transacción y escritura de grupos de entidad, cambia el modo de simultaneidad de tu proyecto a optimista. Para asegurarte de que este cambio sea compatible con tu proyecto, sigue estos pasos:

  1. Crea un proyecto de prueba en Firestore en modo Datastore.

  2. Cambia el modo de simultaneidad del proyecto de prueba a OPTIMISTIC. Ejecuta una solicitud HTTP PATCH, como se muestra a continuación.

  3. Ejecuta pruebas en el proyecto de prueba para asegurarte de que la carga de trabajo tenga el rendimiento esperado sin los grupos de entidad.

  4. Cambia el modo de simultaneidad del proyecto principal de OPTIMISTIC_WITH_ENTITY_GROUPS a OPTIMISTIC.

Solicitud PATCH HTTP para cambiar el modo de simultaneidad de la base de datos:

curl --request PATCH \
--header "Authorization: Bearer "$(gcloud auth print-access-token) \
--header 'Accept: application/json' \
--header 'Content-Type: application/json' \
--data '{"concurrencyMode":"OPTIMISTIC"}' \
"https://firestore.googleapis.com/v1/projects/PROJECT_ID/databases/(default)?updateMask=concurrencyMode"

Notificaciones de registro y progreso

El proceso de actualización usa Cloud Logging para publicar actualizaciones de progreso. Para ver los registros, usa el Explorador de registros, la API de Cloud Logging o la CLI de Google Cloud.

Las actualizaciones se publican en dos registros con el nombre del servicio de registro datastore.googleapis.com:

Nombre del registro Recurso supervisado Carga útil
migration_state datastore_database type.googleapis.com/google.datastore.admin.v1.MigrationStateEvent
migration_progress datastore_database type.googleapis.com/google.datastore.admin.v1.MigrationProgressEvent

El registro de migration_state se actualiza cuando cambia el estado general de la actualización (RUNNING y COMPLETE).

El registro migration_progress se actualiza cada vez que la actualización se mueve a una etapa nueva (PREPARE, START, APPLY_WRITES_SYNCHRONOUSLY, COPY_AND_VERIFY, REDIRECT_EVENTUALLY_CONSISTENT_READS, REDIRECT_STRONGLY_CONSISTENT_READS y REDIRECT_WRITES).

Para recibir notificaciones a medida que avanza la actualización, puedes crear métricas basadas en registros basadas en los dos registros y crear alertas en función de esas métricas.

Banner de migración en Google Cloud Console

Mientras la base de datos heredada de Cloud Datastore esté en proceso de migración, aparecerá un banner con información en la página Entidades de Datastore de Google Cloud Console. En este banner, se incluye un vínculo para abrir Cloud Logging y filtrar las actualizaciones de la migración.

Ir a Entidades de Datastore

Visualiza el estado actual de una CLI

Para ver con rapidez el estado actual de una migración, usa el siguiente comando gcloud:

gcloud datastore operations describe datastore-firestore-migration

Pausa de la migración

Las migraciones de bases de datos grandes son aptas para pausarse y reanudarse. Pausar una migración evita que avance a la siguiente etapa hasta que se reanude. Pausar una migración puede ayudarte a determinar si un cambio observado en el comportamiento o el rendimiento es el resultado del proceso de migración o de un factor no relacionado.

Después de recibir la notificación por correo electrónico sobre la migración de tu base de datos, puedes verificar si es apta para pausarse y reanudarse con el siguiente comando de pausa. Si la migración no es apta, se mostrará un error que indicará que la funcionalidad no está disponible.

Si la migración de tu base de datos se puede pausar y reanudar, los siguientes comandos comenzarán a funcionar una vez que la migración alcance la etapa START.

Para detener una migración, haz lo siguiente:

curl --request POST \
--header "Authorization: Bearer "$(gcloud auth print-access-token) \
--header 'Accept: application/json' \
--header 'Content-Type: application/json' \
--data '{}' \
"https://datastore.googleapis.com/v1/projects/PROJECT_ID:pauseMigration"

Para reanudar una migración, haz lo siguiente:

curl --request POST \
--header "Authorization: Bearer "$(gcloud auth print-access-token) \
--header 'Accept: application/json' \
--header 'Content-Type: application/json' \
--data '{}' \
"https://datastore.googleapis.com/v1/projects/PROJECT_ID:resumeMigration"

Estos comandos no funcionarán una vez que se complete la migración.

Si necesitas mantener la migración pausada durante más de una semana, comunícate a través de un canal de asistencia. Después de dos semanas, es posible que la migración se reanude de forma automática.

Métricas de Cloud Monitoring

Las métricas de Cloud Monitoring disponibles para la base de datos de Datastore siguen siendo las mismas durante el proceso de actualización. Consulta las métricas de Datastore disponibles.