En esta página, se explica cómo puedes buscar y administrar tus recursos de Cloud SQL mediante Dataplex Catalog.
Dataplex Catalog es una plataforma para almacenar, administrar y acceder a tus metadatos. Después de habilitar la integración de Dataplex Catalog en tu instancia de Cloud SQL, Dataplex Catalog recupera de forma automática los siguientes metadatos de instancias, bases de datos, tablas, columnas y vistas de Cloud SQL:
- Nombre
- Ubicación (región)
- Fecha de creación y fecha de la última modificación
- Esquema (para tablas y vistas)
- Descripción
Dataplex Catalog recupera metadatos solo de instancias principales de Cloud SQL y no de réplicas de lectura.
Puedes usar Dataplex Catalog para descubrir y comprender tus metadatos de Cloud SQL. Usa Dataplex Catalog para realizar las siguientes actividades:
- Análisis, incluidas las dependencias y la idoneidad para un caso de uso
- Administración de cambios
- Transferencia de datos (canalizaciones)
- Evolución del esquema
Con Dataplex Catalog, puedes seleccionar los metadatos mediante la vinculación de aspectos a las entradas de metadatos de Cloud SQL. Cada aspecto puede tener varios campos de metadatos y se puede basar en un tipo de aspecto predefinido o personalizado.
Por ejemplo, puedes adjuntar el siguiente aspecto a una columna que contiene un número de seguridad social, que es información de identificación personal (PII):
pii:true
pii_type:SSN
Para obtener más información sobre Dataplex Catalog, consulta Descripción general de Dataplex Catalog.
Antes de comenzar
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Habilita la API de Dataplex para el proyecto.
-
Comprueba los permisos.
Necesitas ciertos roles y permisos de Identity and Access Management (IAM) para buscar y adjuntar entradas a los recursos de Cloud SQL. Si deseas obtener más detalles, consulta Roles y permisos de IAM obligatorios para Dataplex Catalog.
Roles y permisos de IAM obligatorios para Dataplex Catalog
Cloud SQL usa el permiso cloudsql.schemas.view
para proporcionar acceso a los metadatos en Dataplex.
Para proporcionar este permiso, crea un rol personalizada que incluya este permiso o usa una de las funciones predefinidas que tenga este permiso.
Para obtener más información, consulta Roles predefinidos de IAM de Cloud SQL.
Habilita la integración de Dataplex Catalog en tu instancia de Cloud SQL
Para habilitar la integración de Dataplex Catalog en tu instancia de Cloud SQL, usa uno de los siguientes procedimientos.
gcloud
Crea la instancia
Para crear una instancia de Cloud SQL, usa el comando gcloud sql instances create
.
gcloud sql instances create INSTANCE_NAME \ --database-version=DATABASE_VERSION \ --tier=MACHINE_TYPE \ --region=REGION_NAME \ --enable-dataplex-integration
Realiza los siguientes reemplazos:
- INSTANCE_NAME: Es el nombre de la instancia.
- DATABASE_VERSION: la versión de la base de datos para la instancia (por ejemplo,
POSTGRES_13
). Para obtener una lista completa de las cadenas disponibles, consulta SqlDatabaseVersion. - MACHINE_TYPE: el tipo de máquina para la instancia
- REGION_NAME: el nombre de la región para la instancia
Actualiza la instancia
Para habilitar la integración en una instancia existente, usa el comando gcloud sql instances patch
.
gcloud sql instances patch INSTANCE_NAME \ --enable-dataplex-integration
Si necesitas habilitar y actualizar todas las instancias de Cloud SQL en tu proyecto, puedes ejecutar una secuencia de comandos similar a la siguiente:
gcloud sql instances list --format="(NAME)" \ | tail -n +2 | xargs -t -I % gcloud sql instances patch % --enable-dataplex-integration
Este ejemplo está basado en Linux.
REST v1
Crea la instancia
Usa este ejemplo para crear una instancia con la integración habilitada. Para ver una lista completa de los parámetros disponibles para esta llamada, consulta la página instances.insert.
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- PROJECT_ID: el ID o el número del proyecto de Google Cloud que contiene la instancia
- INSTANCE_NAME: Es el nombre de la instancia.
- REGION_NAME: el nombre de la región para la instancia
- DATABASE_VERSION: la cadena de enumeración de la versión de la base de datos (por ejemplo,
POSTGRES_13
). Para obtener una lista completa de las cadenas disponibles, consulta SqlDatabaseVersion. - PASSWORD: la contraseña del usuario
root
- MACHINE_TYPE: la string de enumeración del tipo de máquina (nivel) como:
db-custom-[CPUS]-[MEMORY_MBS]
. - EDITION_TYPE: tu edición de Cloud SQL
Método HTTP y URL:
POST https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances
Cuerpo JSON de la solicitud:
{ "name": "INSTANCE_NAME", "region": "REGION_NAME", "databaseVersion": "DATABASE_VERSION", "rootPassword": "PASSWORD", "settings": { "tier": "MACHINE_TYPE", "edition": "EDITION_TYPE", "enableDataplexIntegration": true } }
Para enviar tu solicitud, expande una de estas opciones:
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_ID", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-09-25T22:19:33.735Z", "operationType": "CREATE", "name": "OPERATION_ID", "targetId": "INSTANCE_ID", "selfLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
Actualiza la instancia
Usa este ejemplo para actualizar una instancia existente. Para ver una lista completa de los parámetros disponibles para esta llamada, consulta la página instances.patch.
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- PROJECT_ID: el ID o el número del proyecto de Google Cloud que contiene la instancia
- INSTANCE_NAME: Es el nombre de la instancia.
Método HTTP y URL:
PATCH https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME
Cuerpo JSON de la solicitud:
{ "settings": { "enableDataplexIntegration": true } }
Para enviar tu solicitud, expande una de estas opciones:
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-01-16T02:32:12.281Z", "operationType": "UPDATE", "name": "OPERATION_ID", "targetId": "INSTANCE_NAME", "selfLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
REST v1beta4
Crea la instancia
Usa este ejemplo para crear una instancia con la integración habilitada. Para ver una lista completa de los parámetros disponibles para esta llamada, consulta la página instances.insert.
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- PROJECT_ID: el ID o el número del proyecto de Google Cloud que contiene la instancia
- INSTANCE_NAME: Es el nombre de la instancia.
- REGION_NAME: el nombre de la región para la instancia
- DATABASE_VERSION: la cadena de enumeración de la versión de la base de datos (por ejemplo,
POSTGRES_13
). Para obtener una lista completa de las cadenas disponibles, consulta SqlDatabaseVersion. - PASSWORD: la contraseña del usuario
root
- MACHINE_TYPE: la string de enumeración del tipo de máquina (nivel) como:
db-custom-[CPUS]-[MEMORY_MBS]
. - EDITION_TYPE: tu edición de Cloud SQL
Método HTTP y URL:
POST https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances
Cuerpo JSON de la solicitud:
{ "name": "INSTANCE_NAME", "region": "REGION_NAME", "databaseVersion": "DATABASE_VERSION", "rootPassword": "PASSWORD", "settings": { "tier": "MACHINE_TYPE", "edition": "EDITION_TYPE", "enableDataplexIntegration": true } }
Para enviar tu solicitud, expande una de estas opciones:
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-09-25T22:19:33.735Z", "operationType": "CREATE", "name": "OPERATION_ID", "targetId": "INSTANCE_ID", "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
Actualiza la instancia
Usa este ejemplo para actualizar una instancia existente. Para ver una lista completa de los parámetros disponibles para esta llamada, consulta la página instances.patch.
Usa este ejemplo para actualizar una instancia existente. Para ver una lista completa de los parámetros disponibles para esta llamada, consulta la página instances.patch.
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- PROJECT_ID: el ID o el número del proyecto de Google Cloud que contiene la instancia
- INSTANCE_NAME: Es el nombre de la instancia.
Método HTTP y URL:
PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME
Cuerpo JSON de la solicitud:
{ "settings": { "enableDataplexIntegration": true } }
Para enviar tu solicitud, expande una de estas opciones:
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-01-16T02:32:12.281Z", "operationType": "UPDATE", "name": "OPERATION_ID", "targetId": "INSTANCE_NAME", "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
Verifica la integración de Dataplex Catalog en tu instancia de Cloud SQL
Para verificar que la integración de Dataplex Catalog esté habilitada en tu instancia, usa uno de los siguientes procedimientos.
gcloud
Para verificar que la integración de Dataplex Catalog esté habilitada en una instancia existente, usa el comando gcloud sql instances describe
.
gcloud sql instances describe INSTANCE_NAME
Reemplaza INSTANCE_NAME por el nombre de la instancia.
En el resultado, busca la configuración enableDataplexIntegration
establecida en true
.
REST v1
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- PROJECT_ID: el ID del proyecto
- INSTANCE_ID<: El ID de la instancia
Método HTTP y URL:
GET https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID
Para enviar tu solicitud, expande una de estas opciones:
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
{ "settings": { "enableDataplexIntegration": true } }
REST v1beta4
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- PROJECT_ID: el ID del proyecto
- INSTANCE_ID<: El ID de la instancia
Método HTTP y URL:
GET https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID
Para enviar tu solicitud, expande una de estas opciones:
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
{ "settings": { "enableDataplexIntegration": true } }
Desactiva la integración de Dataplex Catalog en tu instancia de Cloud SQL
Para desactivar la integración de Dataplex Catalog en tu instancia de Cloud SQL, usa uno de los siguientes procedimientos.
gcloud
Para desactivar la integración en una instancia existente, usa el comando gcloud sql instances patch
.
gcloud sql instances patch INSTANCE_NAME \ --no-enable-dataplex-integration
Si necesitas desactivar la integración y actualizar todas las instancias de Cloud SQL en el proyecto, puedes ejecutar una secuencia de comandos similar a la siguiente:
gcloud sql instances list --format="(NAME)" \ | tail -n +2 | xargs -t -I % gcloud sql instances patch % --no-enable-dataplex-integration
Este ejemplo está basado en Linux.
REST v1
Usa este ejemplo para desactivar la integración.
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- PROJECT_ID: el ID o el número del proyecto de Google Cloud que contiene la instancia
- INSTANCE_NAME: Es el nombre de la instancia.
Método HTTP y URL:
PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME
Cuerpo JSON de la solicitud:
{ "settings": { "enableDataplexIntegration": false } }
Para enviar tu solicitud, expande una de estas opciones:
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-01-16T02:32:12.281Z", "operationType": "UPDATE", "name": "OPERATION_ID", "targetId": "INSTANCE_NAME", "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
REST v1beta4
Usa este ejemplo para desactivar la integración.
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- PROJECT_ID: el ID o el número del proyecto de Google Cloud que contiene la instancia
- INSTANCE_NAME: Es el nombre de la instancia.
Método HTTP y URL:
PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME
Cuerpo JSON de la solicitud:
{ "settings": { "enableDataplexIntegration": false } }
Para enviar tu solicitud, expande una de estas opciones:
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-01-16T02:32:12.281Z", "operationType": "UPDATE", "name": "OPERATION_ID", "targetId": "INSTANCE_NAME", "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
Enriquece recursos de Cloud SQL con aspectos
Los tipos de aspecto son recursos reutilizables que puedes usar como plantillas para aspectos. Los tipos de aspecto te ayudan a evitar la duplicación de trabajo y los aspectos incompletos. Puedes usar Dataplex Catalog para crear los tipos de aspectos que necesitas.
Después de crear tipos de aspectos personalizados, puedes adjuntar aspectos a tus recursos de Cloud SQL. Adjuntar aspectos a los recursos de Cloud SQL te permite hacer lo siguiente:
- Agregar metadatos empresariales a los recursos
- Buscar recursos por metadatos empresariales y otros metadatos personalizados
Para obtener más información sobre cómo crear tipos de aspectos y adjuntar aspectos a Cloud SQL, consulta Administra aspectos y enriquece los metadatos.
Busca recursos de Cloud SQL
Usa la página de búsqueda de Dataplex Catalog en la consola de Google Cloud para buscar recursos de Cloud SQL.
Ve a la página de búsqueda de Dataplex Catalog.
En Elige una plataforma de búsqueda, selecciona Dataplex Catalog.
En el panel Filtros, haz clic en Sistemas y, luego, selecciona Cloud SQL.
Opcional. En Alias de tipo, puedes filtrar los resultados de la búsqueda a un tipo específico de recurso de Cloud SQL si seleccionas uno o más de los siguientes tipos de alias:
- Base de datos
- Esquema de la base de datos
- Servicio
- Tabla
- Ver
Usa consultas para realizar búsquedas
También puedes usar el campo de búsqueda en Dataplex Catalog para realizar búsquedas. Para ver todos los recursos de Cloud SQL, ingresa system=Cloud_SQL
.
Luego, puedes ingresar palabras clave específicas. Por ejemplo, para ver todas las bases de datos de Cloud SQL, haz lo siguiente:
system=Cloud_SQL AND type=Database
Para ver todas las tablas de Cloud SQL, ingresa la siguiente consulta:
system=Cloud_SQL AND type=Table
También puedes usar paréntesis y los operadores lógicos AND
y OR
para expresiones complejas. Para obtener más información sobre las expresiones que puedes usar en el campo de búsqueda, consulta Busca sintaxis para Dataplex Catalog.
Puedes ingresar búsquedas de forma directa para recursos específicos de Cloud SQL en el campo de búsqueda. El formato de la cadena de consulta es el siguiente:
type="projects/PROJECT_ID/locations/global/entryTypes/QUERY_STRING"
Reemplaza lo siguiente:
- PROJECT_ID: Es el ID de tu proyecto.
QUERY_STRING: Usa la siguiente tabla para identificar una cadena de consulta según el motor de Cloud SQL y el tipo de recurso que deseas consultar.
Motor de Cloud SQL Strings de búsqueda Cloud SQL para MySQL cloudsql-mysql-database
cloudsql-mysql-instance
cloudsql-mysql-table
cloudsql-mysql-view
Cloud SQL para PostgreSQL cloudsql-postgresql-database
cloudsql-postgresql-instance
cloudsql-postgresql-table
cloudsql-postgresql-schema
cloudsql-postgresql-view
Cloud SQL para SQL Server cloudsql-sqlserver-database
cloudsql-sqlserver-instance
cloudsql-sqlserver-table
cloudsql-sqlserver-schema
cloudsql-sqlserver-view
Una consulta de ejemplo podría tener el siguiente aspecto:
type="projects/1234567890/locations/global/entryTypes/cloudsql-postgresql-instance"
Filtra recursos de Cloud SQL por dialecto de Cloud SQL
De forma predeterminada, Dataplex Catalog muestra todos los recursos de Cloud SQL. Si deseas filtrar los recursos solo para Cloud SQL para MySQL, Cloud SQL para PostgreSQL o SQL Server, sigue estos pasos.
En el panel Aspectos, haz clic en el menú Agregar más tipos de aspectos.
Selecciona Acceso a SQL.
Haz clic en Aceptar.
Haz clic en el botón de edición de aspecto playlist_add . En la página Acceso a SQL, haz lo siguiente:
- En el campo Dialecto, selecciona SQL Server para filtrar los recursos de SQL Server.
- Opcional. Selecciona el campo Versión y, luego, ingresa una versión específica de SQL Server.
Haz clic en Aplicar. El catálogo de Dataplex solo muestra recursos de SQL Server.
Busca por tipo de aspecto
Dataplex Catalog incluye algunos tipos de aspectos integrados que puedes usar para realizar búsquedas.
En el panel Aspectos, haz clic en el menú Agregar más tipos de aspectos.
Opcional. Selecciona Acceso a SQL para filtrar los resultados por dialecto de Cloud SQL. Para obtener más información, consulta el procedimiento anterior, Filtra recursos de Cloud SQL por dialecto de Cloud SQL.
Selecciona uno o más de los siguientes tipos de aspecto para limitar los resultados de la búsqueda a ese tipo.
- Base de datos de Cloud SQL
- Instancia de Cloud SQL
- Vista de Cloud SQL
- Esquema de Cloud SQL
- Tabla de Cloud SQL
Haz clic en Aceptar.
En la tabla de resultados, haz clic en el nombre de un recurso para ver sus metadatos.
Opcional: Mejora o visualiza tus recursos. Puedes realizar cualquiera de las siguientes acciones:
- En Descripción general, haz clic en Agregar para agregar una descripción de texto enriquecido del recurso.
- En Aspectos, haz clic en Agregar para adjuntar un aspecto al recurso.
- Por ejemplo, para ver las bases de datos de miembros, haz clic en la pestaña Lista de entradas y, luego, en Mostrar todas las entradas secundarias en la búsqueda. Si la pestaña Lista de entrada no aparece, la instancia no tiene bases de datos.
- En Información de las entradas, visualiza todos los detalles del recurso. Haz clic en el nombre de la entrada para desglosar las entradas adicionales.
Flujo de trabajo de ejemplo: desglosar de instancia a columnas
En este flujo de trabajo de ejemplo, primero debes buscar una instancia de Cloud SQL, ver una base de datos de miembro, ver una tabla en esa base de datos y, luego, visualizar las columnas en la tabla.
Ve a la página de búsqueda de Dataplex Catalog.
Para la opción Elige una plataforma de búsqueda, selecciona Dataplex Catalog.
En el panel Filtros, selecciona Sistemas y, luego, Cloud SQL. También puedes ingresar
system=Cloud_SQL
en el campo de búsqueda.Selecciona un nombre de la instancia.
En la página Detalles de Cloud SQL, haz clic en la pestaña Lista de entradas y, luego, en Mostrar todas las entradas secundarias en la búsqueda. Dataplex Catalog muestra las bases de datos en la instancia.
En la página Detalles de la base de datos de Cloud SQL, haz clic en la pestaña Lista de entradas y, luego, en Ver entradas secundarias en la búsqueda. Dataplex Catalog muestra las tablas en la base de datos.
Selecciona un nombre de tabla y, luego, en la página Detalles de la tabla de Cloud SQL, haz clic en Esquema para ver las columnas de la tabla.
Opcional: Para agregar un tipo de aspecto a una columna, haz clic en el botón Agregar aspecto.
Este flujo de trabajo muestra el desglose de una instancia a una tabla. Puedes ir directamente a una lista de tablas si ingresas system=Cloud_SQL AND type=Table
en el campo de búsqueda.
Precios
No se aplican cargos por almacenar metadatos técnicos de Cloud SQL en Dataplex Catalog. Los precios estándar de Dataplex se aplican a las llamadas a la API y al enriquecimiento adicional de metadatos empresariales. Para obtener más información, consulta la página de precios de Dataplex.
Uso de recursos
Dataplex Catalog extrae datos de tus instancias de forma periódica. El proceso de extracción requiere una cierta cantidad de uso de CPU. Las instancias con tipos de máquinas más pequeños, por ejemplo, máquinas que tienen núcleos compartidos y esquemas más grandes (10,000 tablas o más), pueden usar hasta el 40% de su CPU durante el proceso de extracción.
Limitaciones
En esta sección, se enumeran las limitaciones en el uso de Cloud SQL y Dataplex Catalog.
La integración de Dataplex Catalog con Cloud SQL está desactivada para cualquier instancia que restrinja el acceso a los recursos debido a la inscripción de recursos en Assured Workloads.
Después de habilitar Dataplex Catalog en una instancia, los recursos de Cloud SQL pueden tardar entre 2 y 48 horas en aparecer en Dataplex Catalog como recursos, según el tamaño de la máquina, la versión y el tipo de motor de Cloud SQL que uses.
- Las bases de datos de SQL Server que tengan la opción
Auto Close
habilitada no podrán sincronizar la información del esquema con el catálogo de Dataplex. Como práctica recomendada general y por razones de rendimiento, te recomendamos que configures la opciónAuto Close
como falso en SQL Server. Sin embargo, si deseas usar el catálogo de Dataplex, debes configurar la opciónAuto Close
como falso. Para las ediciones Express, la opciónAuto Close
se configura como verdadero de forma predeterminada, según lo diseñado por el motor de SQL Server.