Para recibir las últimas actualizaciones de productos, agrega la URL de esta página a tu lector de feeds.
20 de diciembre de 2018
Los usuarios de Streaming Engine no deben actualizar al SDK 2.9.0 debido a un problema conocido. Si eliges usar el SDK 2.9.0, también debes configurar la función experimental enable_conscrypt_security_provider para habilitar conscrypt, que tiene problemas de estabilidad conocidos.
17 de diciembre de 2018
Las siguientes versiones del SDK se retirarán de servicio el 25 de marzo de 2019 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP. Poco después de esta fecha, ya no podrás enviar trabajos de Cloud Dataflow nuevos ni actualizar los trabajos de Cloud Dataflow en ejecución que usen los SDK que se retiraron. Además, los trabajos de transmisión existentes que usan estas versiones del SDK podrían fallar.
- SDK de Apache Beam para Java, de la versión 2.0.0 a la 2.4.0 (incluida)
- SDK de Apache Beam para Python, de la versión 2.0.0 a la 2.4.0 (incluida)
- SDK de Cloud Dataflow para Java, de la versión 2.0.0 a la 2.4.0 (incluida)
- SDK de Cloud Dataflow para Python, de la versión 2.0.0 a la 2.4.0 (incluida)
Consulta la página de estado de compatibilidad de las versiones del SDK a fin de obtener información detallada sobre el estado de compatibilidad del SDK.
22 de octubre de 2018
Cloud Dataflow ahora puede usar trabajadores en las zonas de la región asia-east2 (Hong Kong).
16 de octubre de 2018
El SDK 1.x de Cloud Dataflow para Java no es compatible a partir del 16 de octubre de 2018. Próximamente, el servicio de Cloud Dataflow rechazará los trabajos nuevos de Cloud Dataflow que se basan en el SDK 1.x de Cloud Dataflow para Java. Consulta Cómo migrar desde el SDK 1.x de Cloud Dataflow para Java si deseas obtener instrucciones relacionadas con la migración.
3 de octubre de 2018
Cloud Dataflow ahora tiene un parámetro de IP pública que te permite desactivar las direcciones IP públicas para tus nodos trabajadores.
16 de julio de 2018
Cloud Dataflow Shuffle ahora está disponible de forma general.
10 de julio de 2018
Cloud Dataflow ahora puede usar trabajadores en las zonas de la región us-west2 (Los Ángeles).
14 de junio de 2018
Streaming Engine ahora está disponible al público en versión Beta. Streaming Engine traslada la ejecución de la canalización de transmisión fuera de las VM de trabajador y la envía al backend del servicio de Cloud Dataflow.
11 de junio de 2018
Ahora puedes especificar una cuenta de servicio de controlador administrada por el usuario cuando ejecutas tu trabajo de canalización.
Cloud Dataflow ahora puede usar trabajadores en las zonas de la región europe-north1 (Finlandia).
26 de abril de 2018
Ahora puedes ver las métricas de entrada lateral para tu canalización desde la interfaz de supervisión de Cloud Dataflow.
21 de febrero de 2018
Cloud Dataflow ahora es compatible con los siguientes extremos regionales en GA: us-central1, us-east1, europe-west1, asia-east1 y asia-northeast1.
10 de enero de 2018
Cloud Dataflow ahora puede usar trabajadores en las zonas de la región northamerica-northeast1 (Montreal).
Cloud Dataflow ahora puede usar trabajadores en las zonas de la región europe-west4 (Países Bajos).
31 de octubre de 2017
Cloud Dataflow ahora puede usar trabajadores en las zonas de la región asia-south1 (Bombay).
30 de octubre de 2017
Cloud Dataflow Shuffle ahora está disponible en la región europe-west1.
Cloud Dataflow Shuffle ahora está disponible en las canalizaciones que usan el SDK de Apache Beam para Python en la versión 2.1 o posterior.
25 de octubre de 2017
Cloud Dataflow proporciona compatibilidad Beta para las plantillas proporcionadas por Google adicionales. Para comenzar a usar las plantillas, sigue la guía de inicio rápido.
12 de octubre de 2017
Se solucionó el problema conocido que se había divulgado el 2 de octubre de 2017.
2 de octubre de 2017
Canalizaciones de Cloud Dataflow 2.x en las que un flatten consume la salida de una PTransform y, al menos, otra PTransform produce un grafo malformado, lo que deja a las otras PTransforms sin entradas.
20 de septiembre de 2017
Cloud Dataflow proporciona compatibilidad Beta para los extremos regionales us-central1 y europe-west1.
5 de septiembre de 2017
Cloud Dataflow ahora puede usar trabajadores en las zonas de la región southamerica-east1 (São Paulo).
1 de agosto de 2017
Cloud Dataflow ahora puede usar trabajadores en las zonas de la región europe-west3 (Fráncfort).
20 de julio de 2017
Ahora puedes acceder al informe de error de Stackdriver para tu canalización directamente desde la interfaz de supervisión de Dataflow.
20 de junio de 2017
Cloud Dataflow ahora puede usar trabajadores en las zonas de la región australia-southeast1 (Sídney).
6 de junio de 2017
Cloud Dataflow ahora puede usar trabajadores en las zonas de la región europe-west2 (Londres).
25 de abril de 2017
Ahora se puede acceder a los registros de trabajador por paso directamente desde la IU de Cloud Dataflow. Consulta la documentación para obtener más información.
11 de abril de 2017
El servicio de Cloud Dataflow ahora cerrará automáticamente un trabajo de transmisión si todos los pasos han alcanzado la marca de agua máxima. Esto solo afectará a las canalizaciones en las que cada fuente produce solo entradas limitadas, p. ej., las canalizaciones de transmisión que leen desde Cloud Pub/Sub no se ven afectadas.
3 de abril de 2017
Diseño de grafos mejorado en la IU de Cloud Dataflow.
29 de septiembre de 2016
El ajuste de escala automático para las canalizaciones de transmisión ahora está disponible al público en versión Beta y se puede usar con fuentes y receptores seleccionados. Consulta la documentación sobre ajuste de escala automático para obtener más información.
15 de septiembre de 2016
El límite predeterminado del ajuste de escala automático para las canalizaciones en lote que usan el SDK de Cloud Dataflow para Java 1.6 o una versión más reciente se elevó a 10 VM de trabajadores. Puedes especificar un límite alternativo con la opción de canalización --maxNumWorkers. Consulta la documentación sobre ajuste de escala automático para obtener más información.
18 de agosto de 2016
El ajuste de escala automático para canalizaciones en lote que usan el SDK de Cloud Dataflow para Java 1.6 o una versión más reciente ahora se habilita de forma predeterminada. Este cambio se implementará en los proyectos durante los próximos días. De forma predeterminada, el servicio de Cloud Dataflow limitará la cantidad dinámica de trabajadores a un límite de 5 VM de trabajadores. Es posible que, en futuras actualizaciones del servicio, se aumente el límite del ajuste de escala automático predeterminado. Puedes especificar un límite alternativo con la opción de canalización --maxNumWorkers. Consulta la documentación sobre ajuste de escala automático para obtener más información.
27 de julio de 2016
Se anunció la compatibilidad Beta de la actualización 0.4.0 del SDK de Cloud Dataflow para Python. Comienza y ejecuta tu canalización de forma remota en el servicio.
El tamaño predeterminado del disco para las canalizaciones en el modo de transmisión ahora es de 420 GB. Este cambio se implementará en los proyectos durante los próximos días.
14 de marzo de 2016
Mejoras disponibles en la escalabilidad y el rendimiento cuando usas el SDK de Cloud Dataflow para Java en la versión 1.5.0:
- El servicio ahora se escala a decenas de miles de divisiones iniciales cuando lee desde una
BoundedSource. Esto incluyeTextIO.Read,AvroIO.ReadyBigtableIO.Read, entre otras. - El servicio ahora usa Avro en lugar de JSON como formato de exportación BigQuery para
BigQueryIO.Read. Este cambio aumenta de manera notable la eficiencia y el rendimiento cuando se lee desde BigQuery.
29 de enero de 2016
Cambios en el entorno de ejecución para los trabajos de transmisión:
- Los archivos que se suben con
--filesToStagese descargaron previamente en:/dataflow/packagesen los trabajadores. Con la actualización del servicio más reciente, los archivos ahora se encontrarán en la ubicación/var/opt/google/dataflow. Este cambio fue una limpieza destinada a mejorar el cumplimiento de las convenciones estándar de ruta de acceso de Linux.
19 de enero de 2016
Cambios en el entorno de ejecución de los trabajos en lote:
- Los archivos que se suben con
--filesToStagese descargaron previamente en:/dataflow/packagesen los trabajadores. Con la actualización del servicio más reciente, los archivos ahora se encontrarán en la ubicación/var/opt/google/dataflow. Este cambio fue una limpieza destinada a mejorar el cumplimiento de las convenciones estándar de ruta de acceso de Linux.
13 de noviembre de 2015
Mejoras en la usabilidad de la IU de supervisión:
- Se cambió el nombre de la pestaña Registro de trabajos a Registros.
- El botón Ver registro se trasladó a la pestaña Registros y se le cambió el nombre a Registros de trabajadores.
Mejoras en el rendimiento y la estabilidad para las canalizaciones de transmisión:
- Se abordó una condición que provocaba un crecimiento lento del uso de memoria en los trabajadores de transmisión.
- Los búferes de ventana grande ya no deben adecuarse por completo a la memoria al mismo tiempo.
- Se mejoró la asignación de disco para evitar la generación de hotspots de la localidad de datos.
- Se optimizó el registro de trabajadores para evitar que se llene el disco local.
12 de agosto de 2015
El servicio de Cloud Dataflow ahora está disponible para el público general.
6 de agosto de 2015
Supervisión de cambios:
- Se agregó JOB_STATE_CANCELLED como un posible valor de estado para los trabajos de Cloud Dataflow en la IU de supervisión y la interfaz de línea de comandos. Aparece cuando el usuario cancela un trabajo.
- Temporalmente, como parte de la introducción al estado de trabajo anterior, los trabajos pueden mostrar distintos estados de trabajo en la vista de lista respecto de la vista de trabajo simple.
- Se agregó el campo de recuento por núcleo-hora de Compute Engine a la IU de supervisión y se habilitó el recuento por núcleo-hora para los trabajos limitados (el campo se propaga con "-" en los trabajos no delimitados).
Mejoras en el rendimiento del ejecutor no delimitado.
28 de julio de 2015
Se agregó una verificación durante la creación del trabajo para garantizar que los nombres de los trabajos activos sean únicos dentro de cada proyecto. Es posible que ya no puedas crear un trabajo nuevo con el mismo nombre como un trabajo activo. Si ya hay trabajos activos con el mismo nombre en ejecución en el sistema, no se verán afectados por este cambio.
23 de abril de 2015
Mejoras en la IU de supervisión: si haces clic en Ver registro para una etapa, ahora se mostrarán, de forma predeterminada, los registros generados por el código de usuario en las máquinas de trabajador.
16 de abril de 2015
El servicio Cloud Dataflow ahora está en versión Beta.
Mejoras en la IU de supervisión: la página de detalles del trabajo ahora proporciona más información sobre el trabajo, como la duración y el tipo. Además, en el caso de las canalizaciones de transmisión, proporciona la marca de agua de datos.
13 de abril de 2015
La interfaz de línea de comandos ahora está disponible para Cloud Dataflow en gcloud alpha.
El tamaño predeterminado del disco en lote es de 250 GB.
9 de abril de 2015
Mejoras en la IU de supervisión: se mejoró la organización de la visualización de la canalización.
La VM predeterminada para los trabajos en lote ahora es n1-standard-1.
Se mejoraron las operaciones de desmontaje de recursos en la finalización y las cancelaciones de trabajos.
Se mejoró el rendimiento del servicio.
3 de abril de 2015
Mejoras en la IU de supervisión: la lista de trabajos ahora incluye el nombre, el tipo, la hora de inicio y el ID de trabajo.
27 de marzo de 2015
Se mejoraron los mecanismos para el escalamiento elástico de los recursos de procesamiento. Las canalizaciones en lote ahora pueden aumentar y reducir el tamaño del grupo de trabajadores en distintas etapas de la ejecución.
20 de marzo de 2015
Supervisión de cambios:
- En la página de resumen de trabajos ahora se muestra el estado del trabajo actual.
- Se mejoró el rendimiento de la IU.
6 de marzo de 2015
Los trabajadores ahora pueden usar el entorno de ejecución de Java 8.
1 de marzo de 2015
Reequilibrio dinámico del trabajo
Se habilitó la compatibilidad de transmisión para todos los proyectos que participan en Alpha.
Si necesitas ayuda, visita nuestra