Etiquetar una tabla de BigQuery con Data Catalog
Esta guía de inicio rápido te ayudará a completar las siguientes tareas:
Crea un conjunto de datos y una tabla de BigQuery.
Cree una plantilla de etiqueta con un esquema que defina cinco campos de etiqueta de distintos tipos. Estos son
string
,double
,boolean
,enumerated
yrichtext
.Busque la entrada del Data Catalog para su tabla.
En Google Cloud Console, cree metadatos empresariales para su entrada que incluyan una descripción general, un administrador de datos y una etiqueta.
Data Catalog te permite buscar y etiquetar entradas, como tablas de BigQuery con metadatos. Algunos ejemplos de metadatos que puedes usar para el etiquetado son las etiquetas públicas y privadas, los administradores de datos y la descripción general de texto enriquecido.
Antes de comenzar
- Configurar tu proyecto
- Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
-
En la página del selector de proyectos de Google Cloud Console, selecciona o crea un proyecto de Google Cloud.
-
Habilita las API de Data Catalog and BigQuery.
- Instala y, luego, inicializa Google Cloud CLI.
-
En la página del selector de proyectos de Google Cloud Console, selecciona o crea un proyecto de Google Cloud.
-
Habilita las API de Data Catalog and BigQuery.
- Instala y, luego, inicializa Google Cloud CLI.
Agrega una entrada de datos pública a tu proyecto
Las entradas de Data Catalog incluyen recursos de datos, como un conjunto de datos de BigQuery o un tema de Pub/Sub.
Agrega un conjunto de datos públicos a tu proyecto.
En Cloud Console, ve a la página de BigQuery.
En la sección Explorador, haz clic en + AGREGAR DATOS y selecciona Explorar conjuntos de datos públicos en la lista desplegable.
En el panel Marketplace, busca
New York taxi trips
y haz clic en el resultado de la búsqueda relevante.Haga clic en Ver conjunto de datos.
Crear un conjunto de datos y una tabla
Crear un conjunto de datos
En Cloud Console, abre la página de BigQuery.
En el panel Explorador, selecciona el proyecto en el que deseas crear el conjunto de datos.
Haz clic en el ícono
Acciones y, luego, en Crear conjunto de datos.En la página Crear conjunto de datos, completa los siguientes detalles:
- En ID del conjunto de datos, ingresa
demo_dataset
. - En Ubicación de los datos, selecciona
US multi-region
. - Habilite el vencimiento de la tabla y especifique la cantidad de días.
- En Encriptación, deja seleccionada la opción Clave administrada por Google.
Haga clic en Crear conjunto de datos.
- En ID del conjunto de datos, ingresa
Copiar una tabla de acceso público a
demo_dataset
En Cloud Console, abre la página de BigQuery.
En el panel Explorador, busca tablas
tlc_yellow_trips
y selecciona una de ellas, comotlc_yellow_trips_2017
. Luego, haga clic en Copiar.En el panel Copiar tabla (Copy table), completa la siguiente información:
- En la lista desplegable Nombre del proyecto, selecciona tu proyecto.
- En la lista desplegable Nombre del conjunto de datos, selecciona
demo_dataset
. - En Nombre de la tabla, ingresa
trips
y, luego, haz clic en Copiar.
En el panel Explorador, confirma que la tabla
trips
aparezca endemo_dataset
.
En la siguiente sección, agregará etiquetas de Data Catalog.
Cree una plantilla de etiqueta pública y adjunte una etiqueta para su entrada
Debes ser el propietario del conjunto de datos para adjuntar una etiqueta a una tabla del conjunto de datos. Para obtener más información sobre las etiquetas públicas y privadas, consulta Etiquetas públicas y privadas.
En una plantilla de etiqueta, los campos de etiqueta son opcionales. No es necesario que proporciones un valor para un campo cuando adjuntas una etiqueta a una entrada de Data Catalog. Sin embargo, si una plantilla define un campo como obligatorio, debes proporcionar un valor para el campo. Si no se proporciona el valor, se genera un error.
Puede usar letras minúsculas y guiones bajos para definir nombres de campos. Los campos de plantillas de etiquetas que se crean en este ejemplo son simplemente campos de demostración y no se actualizan ni se sincronizan automáticamente con BigQuery.
Console
Vaya a la página Plantillas de etiquetas de Data Catalog.
Haga clic en Crear plantilla de etiqueta y, luego, ingrese los siguientes detalles:
- Ingresa el Nombre de la plantilla como
Demo Tag Template
. - Mantén la ubicación predeterminada.
- Mantenga la visibilidad de la plantilla de etiquetas como Pública.
Haga clic en Agregar campo para agregar 5 campos. Use la siguiente tabla y deje vacía la Descripción del campo.
Nombre visible de campo ID del campo Campo obligatorio Tipo Fuente del recurso de datos origen Sí String Filas del activo núm_filas No Double Tiene PII tiene_pii No Booleano Tipo de PII tipo de pii No Enumerado Agrega los valores
EMAIL_ADDRESS
,US_SOCIAL_SECURITY_NUMBER
yNONE
.Contexto context No Texto enriquecido
- Ingresa el Nombre de la plantilla como
Haga clic en Crear.
La página Detalles de la plantilla muestra toda la información sobre la plantilla de la etiqueta.
Para adjuntar una etiqueta a
demo_dataset
, ve a la página de Data Catalog.En el cuadro de búsqueda, ingresa
demo_dataset
. En el resultado de la búsqueda, verás el conjunto de datosdemo_dataset
y la tablatrips
.Haz clic en la tabla
trips
. Se abrirá la página Detalles de la tabla de BigQuery.Haga clic en Adjuntar etiquetas.
En el panel Adjuntar etiquetas, ingresa los siguientes detalles:
- Selecciona el destino como
trips
. - Seleccione la plantilla de etiquetas como
Demo Tag Template
. - En los valores de la etiqueta, ingrese los siguientes detalles:
- Fuente del recurso de datos:
Copied from tlc_yellow_trips_2017
- Cantidad de filas en el recurso de datos:
113496874
- Has PII:
FALSE
- Tipo de PII:
NONE
- Fuente del recurso de datos:
Haz clic en Guardar.
Los campos de etiquetas ahora se enumeran en la sección Etiquetas, en los detalles de la tabla de BigQuery.
- Selecciona el destino como
gcloud
Ejecute el comando gcloud data-catalog tag-templates create que se muestra a continuación para crear una plantilla de etiqueta con los siguientes cinco campos de etiqueta:
-
display_name:
Fuente del elemento de datosid:
Fuenterequired:
TRUEtype:
String -
display_name:
Cantidad de filas en el recurso de datosid:
num_rowsrequired:
FALSEtype:
Doble -
display_name:
Tiene PIIid:
has_piirequired:
FALSEtype:
Booleano -
display_name:
Tipo de PIIid:
pii_typerequired:
FALSOtype:
Enumeradovalues:
- Dirección de correo electrónico
- US_SOCIAL_SECURITY_NUMBER
- NINGUNO
# ------------------------------- # Create a Tag Template. # ------------------------------- gcloud data-catalog tag-templates create demo_template \ --location=us-central1 \ --display-name="Demo Tag Template" \ --field=id=source,display-name="Source of data asset",type=string,required=TRUE \ --field=id=num_rows,display-name="Number of rows in the data asset",type=double \ --field=id=has_pii,display-name="Has PII",type=bool \ --field=id=pii_type,display-name="PII type",type='enum(EMAIL_ADDRESS|US_SOCIAL_SECURITY_NUMBER|NONE)' # ------------------------------- # Lookup the Data Catalog entry for the table. # ------------------------------- ENTRY_NAME=$(gcloud data-catalog entries lookup '//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET/tables/TABLE' --format="value(name)") # ------------------------------- # Attach a Tag to the table. # ------------------------------- # Create the Tag file. cat > tag_file.json << EOF { "source": "BigQuery", "num_rows": 1000, "has_pii": true, "pii_type": "EMAIL_ADDRESS" } EOF gcloud data-catalog tags create --entry=${ENTRY_NAME} \ --tag-template=demo_template --tag-template-location=us-central1 --tag-file=tag_file.json
Go
Antes de probar esta muestra, sigue las instrucciones de configuración para Go que se encuentran en la guía de inicio rápido de Data Catalog con bibliotecas cliente. Si quieres obtener más información, consulta la documentación de referencia de la API de Data Catalog para Go.
Java
Antes de probar esta muestra, sigue las instrucciones de configuración para Java que se encuentran en la guía de inicio rápido de Data Catalog con bibliotecas cliente. Si deseas obtener más información, consulta la documentación de referencia de la API de Data Catalog para Java.
Node.js
Antes de probar esta muestra, sigue las instrucciones de configuración de Node.js en la guía de inicio rápido de Data Catalog con bibliotecas cliente. Si quieres obtener más información, consulta la documentación de referencia de la API de Data Catalog para Node.js.
Python
Antes de probar esta muestra, sigue las instrucciones de configuración de Python en la guía de inicio rápido de Data Catalog con bibliotecas cliente. Si deseas obtener más información, consulta la documentación de referencia de la API de Data Catalog para Python.
LÍNEA DE REST Y CMD
LÍNEA DE CMD Y REST
Si no tienes acceso a las bibliotecas cliente de Cloud en tu idioma o quieres probar la API con solicitudes de REST, consulta los siguientes ejemplos y la documentación de la API de REST de Data Catalog.
1) Crea una plantilla de etiqueta.
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- project-id: Es el ID del proyecto de GCP.
Método HTTP y URL:
POST https://datacatalog.googleapis.com/v1/projects/project-id/locations/us-central1/tagTemplates?tagTemplateId=demo_tag_template
Cuerpo JSON de la solicitud:
{ "displayName":"Demo Tag Template", "fields":{ "source":{ "displayName":"Source of data asset", "isRequired": "true", "type":{ "primitiveType":"STRING" } }, "num_rows":{ "displayName":"Number of rows in data asset", "isRequired": "false", "type":{ "primitiveType":"DOUBLE" } }, "has_pii":{ "displayName":"Has PII", "isRequired": "false", "type":{ "primitiveType":"BOOL" } }, "pii_type":{ "displayName":"PII type", "isRequired": "false", "type":{ "enumType":{ "allowedValues":[ { "displayName":"EMAIL_ADDRESS" }, { "displayName":"US_SOCIAL_SECURITY_NUMBER" }, { "displayName":"NONE" } ] } } } } }
Para enviar tu solicitud, expande una de estas opciones:
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
{ "name":"projects/project-id/locations/us-central1/tagTemplates/demo_tag_template", "displayName":"Demo Tag Template", "fields":{ "num_rows":{ "displayName":"Number of rows in data asset", "isRequired": "false", "type":{ "primitiveType":"DOUBLE" } }, "has_pii":{ "displayName":"Has PII", "isRequired": "false", "type":{ "primitiveType":"BOOL" } }, "pii_type":{ "displayName":"PII type", "isRequired": "false", "type":{ "enumType":{ "allowedValues":[ { "displayName":"EMAIL_ADDRESS" }, { "displayName":"NONE" }, { "displayName":"US_SOCIAL_SECURITY_NUMBER" } ] } } }, "source":{ "displayName":"Source of data asset", "isRequired":"true", "type":{ "primitiveType":"STRING" } } } }
2. Busca el Data Catalog entry-id
para tu tabla de BigQuery.
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- project-id: ID del proyecto de GCP
Método HTTP y URL:
GET https://datacatalog.googleapis.com/v1/entries:lookup?linkedResource=//bigquery.googleapis.com/projects/project-id/datasets/demo_dataset/tables/trips
Cuerpo JSON de la solicitud:
Request body is empty.
Para enviar tu solicitud, expande una de estas opciones:
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
{ "name": "projects/project-id/locations/US/entryGroups/@bigquery/entries/entry-id", "type": "TABLE", "schema": { "columns": [ { "type": "STRING", "description": "A code indicating the TPEP provider that provided the record. 1= ", "mode": "REQUIRED", "column": "vendor_id" }, ... ] }, "sourceSystemTimestamps": { "createTime": "2019-01-25T01:45:29.959Z", "updateTime": "2019-03-19T23:20:26.540Z" }, "linkedResource": "//bigquery.googleapis.com/projects/project-id/datasets/demo_dataset/tables/trips", "bigqueryTableSpec": { "tableSourceType": "BIGQUERY_TABLE" } }
3. Crea una etiqueta a partir de la plantilla y adjúntala a tu tabla BigQuery.
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- project-id: ID del proyecto de GCP
- entry-id: ID de entrada de Data Catalog para la tabla de viajes del conjunto de datos de demostración (que se muestra en los resultados de la búsqueda en el paso anterior).
Método HTTP y URL:
POST https://datacatalog.googleapis.com/v1/projects/project-id/locations/us-central1/entryGroups/@bigquery/entries/entry-id/tags
Cuerpo JSON de la solicitud:
{ "template":"projects/project-id/locations/us-central1/tagTemplates/demo_tag_template", "fields":{ "source":{ "stringValue":"Copied from tlc_yellow_trips_2017" }, "num_rows":{ "doubleValue":113496874 }, "has_pii":{ "boolValue":false }, "pii_type":{ "enumValue":{ "displayName":"NONE" } } } }
Para enviar tu solicitud, expande una de estas opciones:
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
{ "name":"projects/project-id/locations/US/entryGroups/@bigquery/entries/entry-id/tags/tag-id", "template":"projects/project-id/locations/us-central1/tagTemplates/demo_tag_template", "fields":{ "pii_type":{ "displayName":"PII type", "enumValue":{ "displayName":"NONE" } }, "has_pii":{ "displayName":"Has PII", "boolValue":false }, "source":{ "displayName":"Source of data asset", "stringValue":"Copied from tlc_yellow_trips_2017" }, "num_rows":{ "displayName":"Number of rows in data asset", "doubleValue":113496874 } }, "templateDisplayName":"Demo Tag Template" }
Cree una descripción general de su postulación.
En Cloud Console, puede usar texto enriquecido para describir una entrada de su proyecto de Data Catalog.
A fin de crear una descripción general para la tabla
trips
, ve a la página Data Catalog.En el cuadro de búsqueda, ingresa
demo_dataset
.En el resultado de la búsqueda, verás el conjunto de datos
demo_dataset
y la tablatrips
.Haz clic en la tabla
trips
.Se abrirá la página Detalles de la tabla de BigQuery.
Haz clic en Descripción general y, luego, ingresa el texto. También puede incluir imágenes y texto con formato enriquecido.
Haz clic en Guardar.
Cómo agregar un administrador de datos para tu entrada
En Cloud Console, puedes agregar uno o más administradores de datos a una entrada de tu proyecto de Data Catalog. Se puede comunicarse con un administrador de datos de una entrada de datos a fin de solicitar más información al respecto.
A fin de crear una descripción general para la tabla
trips
, repite los primeros 3 pasos de la sección anterior.Haga clic en el ícono de Editar administrador y agregue una o más direcciones de correo electrónico.
Puedes agregar un usuario con una cuenta de correo electrónico que no sea de Google.
Haz clic en Guardar.
Limpia
Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que se usaron en esta página.
Borra el proyecto
La manera más fácil de eliminar la facturación es borrar el proyecto que creaste para el instructivo.
Para borrar el proyecto, haga lo siguiente:
- En la consola de Cloud, ve a la página Administrar recursos.
- En la lista de proyectos, elige el proyecto que quieres borrar y haz clic en Borrar.
- En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrar el proyecto.
Borra el conjunto de datos
Si es necesario, ve a la página de BigQuery.
En el panel Explorador, busca el conjunto de datos
demo_dataset
que creaste.Haz clic en la opción
Acciones y, luego, en Borrar conjunto de datos.Confirma la acción de eliminación.
Borrar la plantilla de la etiqueta
Ve a la página Plantillas de Data Catalog.
Seleccione Plantilla de etiqueta de demostración.
En la fila, haz clic en la opción
Acciones y en Eliminar esta plantilla.Confirma la acción de eliminación.
¿Qué sigue?
Obtenga información sobre Data Catalog en la Descripción general de Data Catalog.
Obtén más información sobre los metadatos técnicos y los metadatos empresariales.
Obtenga información sobre las plantillas de etiquetas, las etiquetas públicas y las etiquetas privadas en Etiquetas y plantillas de etiquetas.
Explore la Descripción general de las API y las bibliotecas del cliente.