Programar una transferencia de Comparison Shopping Service Center

En este documento se explica cómo programar y gestionar tareas de carga periódicas de los datos registrados de CSS Center mediante BigQuery Data Transfer Service.

Antes de empezar

Antes de crear una transferencia de datos de CSS Center, debe hacer lo siguiente:

  • Habilita BigQuery Data Transfer Service.
  • Crea un conjunto de datos de BigQuery para almacenar los datos de CSS Center.
    • En cuanto a la región del conjunto de datos, puedes usar la opción predeterminada, Multirregión, en Estados Unidos o en la Unión Europea.
    • Si quiere crear un conjunto de datos en una región específica, la transferencia de datos de CSS Center solo se admite en las siguientes regiones:
    • us-east4 (Northern Virginia),
    • asia-northeast1 (Tokyo),
    • asia-southeast1 (Singapore),
    • australia-southeast1 (Sydney),
    • europe-north1 (Findland),
    • europe-west2 (London),
    • europe-west6 (Zurich).
  • Debe tener el ID de su dominio de CSS para crear una transferencia de datos de CSS Center.
  • Si quieres configurar notificaciones de ejecuciones de transferencias para Pub/Sub, debes tener permisos de pubsub.topics.setIamPolicy. No se necesitan permisos de Pub/Sub si solo configuras notificaciones por correo electrónico. Para obtener más información, consulta el artículo sobre las notificaciones de ejecución de BigQuery Data Transfer Service.

Permisos obligatorios

Asegúrate de que el usuario que crea la transferencia de datos tenga los siguientes permisos obligatorios.

En BigQuery:

Para obtener los permisos que necesitas para crear una transferencia, pide a tu administrador que te conceda el rol de gestión de identidades y accesos Administrador de BigQuery (roles/bigquery.admin). Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene los permisos necesarios para crear una transferencia. Para ver los permisos exactos que se necesitan, despliega la sección Permisos necesarios:

Permisos obligatorios

Para crear una transferencia, se necesitan los siguientes permisos:

  • bigquery.transfers.update en el usuario
  • bigquery.datasets.get en el conjunto de datos de destino
  • bigquery.datasets.update en el conjunto de datos de destino

También puedes obtener estos permisos con roles personalizados u otros roles predefinidos.

Para CSS Center:

Debe tener acceso a la cuenta de CSS Center que se utilice en la configuración de la transferencia.

Configurar una transferencia de CSS Center

Para crear una transferencia de datos para los informes de CSS Center, siga estos pasos:

Consola

  1. Ve a la página Transferencias de datos de la Google Cloud consola.

    Ir a Transferencias de datos

  2. Haz clic en Crear transferencia.

  3. En la página Crear transferencia, haz lo siguiente:

    • En la sección Tipo de fuente, elija Google CSS Center en Fuente.
    • En la sección Nombre de la configuración de transferencia, en Nombre visible, indica un nombre para la transferencia de datos; por ejemplo, My Transfer. El nombre de la transferencia puede ser cualquier valor que te permita identificarla si necesitas modificarla más adelante.

      Nombre de transferencia

    • La sección Opciones de programación no se puede configurar. Las transferencias de datos de CSS Center se programan para que se ejecuten una vez cada 24 horas.

    • En la sección Configuración de destino, en Conjunto de datos de destino, elija el conjunto de datos que haya creado para almacenar sus datos.

    • En la sección Detalles de la fuente de datos, en ID de CSS, introduzca el ID de dominio de CSS.

    • Selecciona los informes que quieras transferir. Consulta más información en Informes admitidos.

    • (Opcional) En la sección Opciones de notificación:

      • Haz clic en el interruptor para habilitar las notificaciones por correo electrónico. Si habilitas esta opción, el administrador de las transferencias recibirá una notificación por correo cuando falle una ejecución de transferencia.
      • En Selecciona un tema de Pub/Sub, elige el nombre del tema o haz clic en Crear un tema. Esta opción configura las notificaciones de Pub/Sub sobre la transferencia de datos.

    Transferir datos a CSS Center.

  4. Haz clic en Guardar.

bq

Introduce el comando bq mk y proporciona la marca de creación de transferencia — --transfer_config. También se necesitan las siguientes marcas:

  • --data_source
  • --target_dataset
  • --display_name
  • --params

También puedes usar la marca --project_id para especificar un proyecto concreto. Si no se especifica --project_id, se usa el proyecto predeterminado.

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Donde:

  • project_id es el ID del proyecto.
  • dataset es el conjunto de datos de destino de la configuración de Data Transfer.
  • name es el nombre visible de la configuración de transferencia de datos. El nombre de la transferencia puede ser cualquier valor que te permita identificarla si necesitas modificarla más adelante.
  • parameters contiene los parámetros de la configuración de transferencia de datos creada en formato JSON. Por ejemplo: --params='{"param":"param_value"}'.
    • css_id: el ID del dominio de CSS.
    • export_products: si quieres transferir datos de problemas de productos o no. Este parámetro se incluye de forma predeterminada, aunque no especifique el parámetro export_products. Te recomendamos que incluyas este parámetro explícitamente y le asignes el valor true.
  • data_source es la fuente de datos: css_center.

Por ejemplo, el siguiente comando crea una transferencia de datos de CSS Center llamada My Transfer con el ID de dominio de CSS 1234 y el conjunto de datos de destino mydataset. La transferencia de datos se crea en tu proyecto predeterminado.

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"css_id":"1234","export_products":"true","export_regional_inventories":"true","export_local_inventories":"true","export_price_benchmarks":"true","export_best_sellers":"true"}' \
--data_source=css_center

La primera vez que ejecutes el comando, recibirás un mensaje como el siguiente:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Sigue las instrucciones del mensaje y pega el código de autenticación en la línea de comandos.

API

Usa el método projects.locations.transferConfigs.create y proporciona una instancia del recurso TransferConfig.