En esta página, se muestra cómo iniciar y administrar Dataproc Metastore de la migración administrada.
Puedes configurar una migración con las APIs de Dataproc Metastore.
Antes de comenzar
- Obtén información sobre cómo funciona una migración administrada.
- Configura los requisitos previos de la migración administrada.
Iniciar migración
Cuando ejecutas un inicio de migración, Dataproc Metastore se conecta a Cloud SQL y usa Cloud SQL como base de datos de backend. Durante este proceso, Dataproc Metastore ejecuta una canalización que copia datos de Cloud SQL a su propia base de datos (Spanner).
Dataproc Metastore continúa usando Cloud SQL como su backend y replica los datos hasta que se llame al proceso de migración completa.
Antes de comenzar una migración, asegúrate de haber configurado la migración administrada prerrequisitos.
Consideraciones sobre el inicio de la migración
Un servicio de Dataproc Metastore solo puede ejecutar una migración a la vez.
La migración permanece activa hasta que completes el proceso correspondiente. No hay una fecha límite para completar la migración, por ejemplo, puede tardar 1 día, 30 días o un año.
Las copias de seguridad programadas no se restringen durante una migración. Sin embargo, el la copia de seguridad puede estar incompleta. Para evitar problemas, inhabilita las copias de seguridad programadas mientras la migración está en curso.
El inicio de una migración activa los siguientes cambios de estado:
- Dataproc Metastore pasa al estado
MIGRATING. - El estado de ejecución de la migración pasa a
RUNNING. La fase de ejecución de la migración pasa a
REPLICATION.
Console
Comenzar
En la consola de Google Cloud, abre la página Dataproc Metastore:
En la página Dataproc Metastore, haz clic en el nombre del servicio. a los que quieres migrar.
Se abrirá la página Detalle del servicio.
En la parte superior de la página, haz clic en Migrar datos.
Se abrirá la página Crear migración en la pestaña Conectividad. Se mostrará la configuración de la base de datos de Cloud SQL para Dataproc Metastore parámetros de configuración.
Configuración de la base de datos de Cloud SQL para DPMS
En Nombre de la conexión con la instancia, ingresa el nombre de la conexión de la instancia de la Base de datos de Cloud SQL, en el siguiente formato:
project_id:region:instance_nameEn el campo Dirección IP, ingresa la dirección IP necesaria para conectarte. a la instancia de Cloud SQL.
En el campo Puerto, ingresa 3306.
En Hive database name, ingresa el nombre de la base de datos que deseas. que se usa como backend de Hive Metastore autoadministrado.
En el campo Nombre de usuario, ingresa el nombre de usuario que usas para conectarte. de Cloud SQL a Hive Metastore.
En el campo Contraseña, ingresa la contraseña que usas para conectarte. de Cloud SQL a Hive Metastore.
Servicio de proxy de SOCKS5
En el campo Subred de proxy, ingresa una subred de Tipo regular. La subred debe estar presente en la red de VPC de Cloud SQL. Esta subred se usa para implementar el servicio de proxy SOCKS5 intermedio
En el campo Subred de NAT, ingresa una subred de tipo de Private Service Connect. Esta subred debe estar presente en la red de VPC de Cloud SQL y está que se usa para publicar el servicio de proxy de SOCKS5 con Private Service Connect.
Haga clic en Continuar.
Se abre la pestaña Captura de datos modificados (CDC), y se muestra la Configuración de la base de datos de Cloud SQL para Datastream parámetros de configuración.
Configuración de la base de datos de Cloud SQL para el flujo de datos
En el campo Nombre de usuario, ingresa el nombre de usuario que usas para acceder. a las CDC de Cloud SQL que usa Datastream.
En el campo Contraseña, ingresa la contraseña que usas para acceder. a las CDC de Cloud SQL que usa Datastream.
En el campo Red de VPC, ingresa la red en la misma VPC. red como la instancia de Cloud SQL que usa Datastream para establecer una conexión privada con los CDC.
En el campo Rango de IP de la subred, ingresa un rango de IP de subred de al menos
/29. Datastream usa esta IP para establecer el intercambio de tráfico a la red de VPC.En el campo Subred de proxy inversa, ingresa la subred que creaste en la misma red de VPC que Cloud SQL. Datastream la usa subred. La subred se usa para alojar una conexión de proxy inversa. para la CDC de Datastream. La subred se debe configurar en la en la misma región que el servicio de Dataproc Metastore.
Configuración de GCS
En ID del bucket, selecciona la ruta de Cloud Storage para almacenar. CDC datos durante la migración.
En el campo Ruta de acceso raíz, ingresa la ruta de acceso raíz dentro de Cloud Storage. bucket. Los datos de eventos de transmisión se escriben en esta ruta de acceso.
Haz clic en Crear.
REST
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type:application/json" \
-X POST -d \
'{
"migration_execution": {
"cloud_sql_migration_config": {
"cloud_sql_connection_config": {
"instance_connection_name": INSTANCE_CONNECTION_NAME,
"hive_database_name": "HIVE_DATABASE_NAME",
"ip_address": "IP_ADDRESS",
"port": 3306,
"username": "CONNECTION_USERNAME",
"password": "CONNECTION_PASSWORD",
"proxy_subnet": "PROXY_SUBNET",
"nat_subnet": "NAT_SUBNET"
},
"cdc_config": {
"username": "CDC_USENAME",
"password": "CDC_PASSWORD",
"vpc_network": "VPC_NETWORK",
"subnet_ip_range": "SUBNET_IP_RANGE",
"reverse_proxy_subnet": "REVERSE_PROXY_SUBNET_ID",
"bucket": "BUCKET_NAME",
"root_path": "ROOT_PATH",
}
}
}
}' \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:startMigration
Reemplaza lo siguiente:
SERVICE: Es el nombre o el ID de tu Servicio de Dataproc Metastore.PROJECT_ID: Es el ID del proyecto de la biblioteca cliente de Google Cloud. proyecto en el que reside tu servicio de Dataproc Metastore.LOCATION: Es la región de Google Cloud en la que donde reside tu servicio de Dataproc Metastore.
Configuración de la migración de Cloud SQL
INSTANCE_CONNECTION_NAME: Es la conexión de la instancia. nombre de la base de datos de Cloud SQL en el siguiente formato:PROJECT_ID/LOCATION/CLOUDSQL_INSTANCE_IDHIVE_DATABASE_NAME: Es el nombre del recurso autoadministrado. Base de datos de Hive conectada a Cloud SQL.IP_ADDRESS: La dirección IP necesaria para conectarse a la instancia de Cloud SQL.CONNECTION_USERNAME: Es el nombre de usuario. que usas para conectar Cloud SQL a Hive Metastore.CONNECTION_PASSWORDla contraseña que usas para conectar Cloud SQL a Hive MetastorePROXY_SUBNET: Es la subred que se usa en la red de VPC de Cloud SQL. Esta subred aloja un servicio intermedio proxy a proporcionan conectividad entre redes transitivas.NAT_SUBNET: Una subred de Private Service Connect que proporciona una conexión desde el servicio de Dataproc Metastore para acceder al proxy intermedio. El tamaño de la subred debe tener una Longitud del prefijo de mínimo /29 y en el rango IPv4.
Configuración de las CDC
CDC_USERNAME: Es el nombre de usuario que El servicio de Datastream lo usa para acceder a Cloud SQL.CDC_PASSWORD: Es la contraseña a la que El servicio de Datastream lo usa para acceder a Cloud SQL.VPC_NETWORK: Es una red en la misma VPC. red como la instancia de Cloud SQL que usa Datastream para establecer una conexión privada con los CDC.SUBNET_IP_RANGE: un rango de IP de subred de /29 como mínimo que usa Datastream para establecer intercambio de tráfico con el de VPC de Google Cloud.REVERSE_PROXY_SUBNET_ID: Es una subred en el a la misma red de VPC que la instancia de Cloud SQL que usa Datastream. La subred se usa para alojar una conexión de proxy inversa. para la CDC de Datastream. La subred se debe configurar en la misma región que el servicio de Dataproc Metastore.BUCKET_NAME: Es la ruta de acceso de Cloud Storage para almacenar. CDC datos durante la migración.ROOT_PATH: Es la ruta raíz dentro de Cloud Storage. bucket. Los datos de eventos de transmisión se escriben en esta ruta de acceso.
Completar migración
Cuando completas una migración, Dataproc Metastore se conecta a Spanner y comienza a usar Spanner como su base de datos de backend.
Una migración completa activa los siguientes cambios de estado:
- Dataproc Metastore vuelve al estado
ACTIVE. El estado de ejecución de la migración pasa a
SUCCEEDED.
Console
En la consola de Google Cloud, abre Dataproc Metastore. .
En la parte superior de la página, haz clic en Migrar datos.
Se abrirá la página Migrar datos, en la que se mostrarán tus registros de datos.
REST
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type:application/json" \
-X POST -d '' \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:completeMigration
Reemplaza lo siguiente:
SERVICE: Es el nombre o el ID de tu Servicio de Dataproc Metastore.PROJECT_ID: Es el ID del proyecto de la biblioteca cliente de Google Cloud. proyecto en el que reside tu servicio de Dataproc Metastore.LOCATION: Es la región de Google Cloud en la que donde reside tu servicio de Dataproc Metastore.
Cancelar migración
Cuando cancelas una migración, Dataproc Metastore revierte los cambios y comienza a usar el tipo de base de datos de Spanner como su base de datos de backend. Se borrarán todos los datos que se hayan transferido durante la migración.
Una migración de cancelación activa los siguientes cambios de estado:
- Dataproc Metastore vuelve al estado
ACTIVE. El estado de ejecución de la migración pasa a
CANCELLED.
Console
En la consola de Google Cloud, abre Dataproc Metastore. .
En la parte superior de la página, haz clic en Migrar datos.
Se abrirá la página Migrar datos y se mostrará tu de Google Cloud.
REST
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type:application/json" \
-X POST -d '' \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:cancelMigration
Reemplaza lo siguiente:
SERVICE_NAME: Es el nombre o el ID de tu Servicio de Dataproc Metastore.PROJECT_ID: Es el ID del proyecto de la biblioteca cliente de Google Cloud. proyecto en el que reside tu servicio de Dataproc Metastore.LOCATION: Es la región de Google Cloud en la que donde reside tu servicio de Dataproc Metastore.
Obtén detalles de la migración
Obtén detalles sobre una sola migración administrada.
Console
En la consola de Google Cloud, abre Dataproc Metastore. .
En la parte superior de la página, haz clic en Migrar datos.
Se abrirá la página Migrar datos, en la que se mostrarán tus migraciones administradas.
Para obtener más detalles sobre la migración, haz clic en el nombre de una migración administrada.
REST
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-X GET \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE/migrationExecutions/MIGRATION_ID
Reemplaza lo siguiente:
SERVICE: Es el nombre o el ID de tu Servicio de Dataproc Metastore.PROJECT_ID: Es el ID del proyecto de la biblioteca cliente de Google Cloud. proyecto en el que reside tu servicio de Dataproc Metastore.LOCATION: Es la región de Google Cloud en la que donde reside tu servicio de Dataproc Metastore.MIGRATION_ID: Es el nombre o el ID de tu Migración de Dataproc Metastore.
Enumera migraciones
Enumera las migraciones administradas.
Console
En la consola de Google Cloud, abre Dataproc Metastore. .
En la parte superior de la página, haz clic en Migrar datos.
Se abrirá la página Migrar datos, en la que se mostrarán tus migraciones administradas.
Verifica que el comando enumere las migraciones.
REST
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-X GET \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE/migrationExecutions/MIGRATION_ID
Reemplaza lo siguiente:
SERVICE: Es el nombre o el ID de tu Servicio de Dataproc Metastore.PROJECT_ID: Es el ID del proyecto de la biblioteca cliente de Google Cloud. proyecto en el que reside tu servicio de Dataproc Metastore.LOCATION: Es la región de Google Cloud en la que donde reside tu servicio de Dataproc Metastore.
Borrar migraciones
Borra las migraciones administradas.
Console
En la consola de Google Cloud, abre Dataproc Metastore. .
En la parte superior de la página, haz clic en Migrar datos.
Se abrirá la página Migrar datos, en la que se mostrarán tus migraciones administradas.
Selecciona la migración y haz clic en Borrar.
REST
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-X DELETE \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE/migrationExecutions/MIGRATION_ID
Reemplaza lo siguiente:
SERVICE: Es el nombre o el ID de tu Servicio de Dataproc Metastore.PROJECT_ID: Es el ID del proyecto de la biblioteca cliente de Google Cloud. proyecto en el que reside tu servicio de Dataproc Metastore.LOCATION: Es la región de Google Cloud en la que donde reside tu servicio de Dataproc Metastore.MIGRATION_ID: Es el nombre o ID de la Migración de Dataproc Metastore.