Status dukungan versi SDK

Halaman ini mencantumkan status dukungan Dataflow untuk rilis Apache Beam SDK dan Dataflow SDK:

Definisi tingkat dukungan Apache Beam SDK

Berikut adalah tingkat dukungan Dataflow untuk Apache Beam SDK:

  • Didukung: Versi Apache Beam SDK didukung oleh Dataflow dari tanggal rilis hingga tanggal penghentiannya.
  • Tidak digunakan lagi: Jika versi SDK tidak digunakan lagi, versi tersebut akan terus berfungsi dengan Dataflow, tetapi mungkin akan dihentikan di masa mendatang. Sebelum versi SDK dinonaktifkan, pelanggan akan diberi tahu dan diberi waktu untuk mengupgrade lingkungan mereka. Permintaan tugas yang dikirim dari versi SDK yang tidak digunakan lagi akan menghasilkan pesan peringatan. Sebaiknya Anda memperbarui lingkungan yang menggunakan versi SDK yang tidak digunakan lagi ke versi yang didukung, tetapi versi SDK yang tidak digunakan lagi akan terus berfungsi dengan Dataflow.
  • Dihentikan: Versi SDK yang dinonaktifkan tidak lagi berfungsi dengan Dataflow. Permintaan tugas yang dikirim dari versi SDK yang dinonaktifkan akan menyebabkan error. Untuk menggunakan SDK dengan Dataflow, Anda harus memperbarui lingkungan ke versi SDK yang masih aktif. Sebaiknya update SDK ke versi yang didukung. Versi SDK jarang dinonaktifkan. Sebelum versi SDK dinonaktifkan, pelanggan akan diberi tahu dan diberi waktu untuk mengupgrade lingkungan mereka.

Definisi sebelumnya tidak berlaku untuk SDK atau fitur yang tidak pernah didukung.

SDK Apache Beam 2.x

Apache Beam adalah project open source yang dikelola komunitas. Google dan Google Cloud adalah bagian dari komunitas Apache Beam, tetapi kami tidak memiliki project atau mengontrol proses rilis. Kami mungkin melaporkan bug atau mengirimkan patch ke codebase Apache Beam atas nama pelanggan Dataflow. Kami tidak dapat membuat hotfix atau rilis resmi Apache Beam sesuai permintaan. Lihat halaman kebijakan Apache Beam untuk detail selengkapnya tentang kebijakan rilis.

Dataflow mendukung komponen Apache Beam SDK tertentu untuk rilis SDK yang tercantum di halaman ini. Komponen-komponen ini telah diuji secara menyeluruh dengan Dataflow. Fitur eksperimental tidak didukung.

Lihat catatan rilis Apache Beam untuk informasi perubahan.

Tabel berikut berisi status dukungan untuk Apache Beam 2.x SDK, termasuk Apache Beam Python SDK, Apache Beam Java SDK, dan Apache Beam Go SDK:

Java

Versi SDK Status Komponen yang didukung Detail
2.55.1 Didukung java-beam-beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:beam-sdks-java-io-google-cloud-platform





 Versi ini tidak akan digunakan lagi pada 8 April 2025.
2.55.0 Didukung java-beam-beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:beam-sdks-java-io-google-cloud-platform

Versi ini tidak akan digunakan lagi pada 25 Maret 2025.

Masalah umum: Transformasi WriteToJson di pipeline lintas bahasa gagal dengan error. Untuk mengatasi masalah ini, upgrade ke Apache Beam 2.55.1. Untuk informasi selengkapnya, lihat Masalah #30776: Beam YAML WriteToJson gagal.
2.54.0 Didukung bin beam-beam-manager.java-beams.s pemberitahuan-sawhan-sorangan-server
cloud-beam-sdks-java-core
beam-beam-sdks-java-core
beam-beam-








 Versi ini tidak akan digunakan lagi pada 14 Februari 2025.
2.53.0 Didukung bin beam-beam-manager.java-beams.s pemberitahuan-sawhan-sorangan-server
cloud-beam-sdks-java-core
beam-beam-sdks-java-core
beam-beam-








 Versi ini tidak akan digunakan lagi pada 4 Januari 2025.
2.52.0 Didukung bin beam-beam-manager.java-beams.s pemberitahuan-sawhan-sorangan-server
cloud-beam-sdks-java-core
beam-beam-sdks-java-core
beam-beam-








 Versi ini tidak akan digunakan lagi pada 17 November 2024.
2.51.0 Didukung bin beam-beam-manager.java-beams.s pemberitahuan-sawhan-sorangan-server
cloud-beam-sdks-java-core
beam-beam-sdks-java-core
beam-beam-








 Versi ini tidak akan digunakan lagi pada 12 Oktober 2024.
2.50.0 Didukung bin beam-beam-manager.java-beams.s pemberitahuan-sawhan-sorangan-server
cloud-beam-sdks-java-core
beam-beam-sdks-java-core
beam-beam-








 Versi ini tidak akan digunakan lagi pada 30 Agustus 2024.
2.49.0 Didukung bin beam-beam-manager.java-beams.s pemberitahuan-sawhan-sorangan-server
cloud-beam-sdks-java-core
beam-beam-sdks-java-core
beam-beam-








 Versi ini tidak akan digunakan lagi pada 17 Juli 2024.
2.48.0 Didukung











Versi ini tidak akan digunakan lagi pada 31 Mei 2024.
2.47.0 Didukung











Versi ini tidak akan digunakan lagi pada 10 Mei 2024.
2.46.0 Tidak digunakan lagi











Tidak digunakan lagi pada 10 Maret 2024.
2.45.0 Tidak digunakan lagi











Tidak digunakan lagi pada 15 Februari 2024.
2.44.0 Tidak digunakan lagi











Tidak digunakan lagi pada 13 Januari 2024.
2.43.0 Tidak digunakan lagi











Tidak digunakan lagi pada 17 November 2023.
2.42.0 Tidak digunakan lagi











Tidak digunakan lagi pada 17 Oktober 2023.
2.41.0 Tidak digunakan lagi











Tidak digunakan lagi pada 23 Agustus 2023.
2.40.0 Tidak digunakan lagi beam-build-beam-sdks-java-core
beam-beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
Cloud-beam-sdks-java-extensions-protobuf






 Tidak digunakan lagi pada 27 Juni 2023.
2.39.0 Tidak digunakan lagi











Tidak digunakan lagi pada 25 Mei 2023.
2.38.0 Tidak digunakan lagi











Tidak digunakan lagi pada 20 April 2023.
2.37.0 Tidak digunakan lagi











Tidak digunakan lagi pada 4 Maret 2023.
2.36.0 Tidak digunakan lagi











Tidak digunakan lagi pada 7 Februari 2023.
2.35.0 Tidak digunakan lagi











Tidak digunakan lagi pada 29 Desember 2022.
2.34.0 Tidak digunakan lagi sql org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
Cloud-beam-sdks-java-extensions-protobuf






 Tidak digunakan lagi pada 11 November 2022.
2.33.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.





 Tidak digunakan lagi pada 7 Oktober 2022.
2.32.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.





 Tidak digunakan lagi pada 25 Agustus 2022.
2.31.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.





 Tidak digunakan lagi pada 8 Juli 2022.
2.30.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.





 Tidak digunakan lagi pada 10 Juni 2022.
2.29.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.

Tidak digunakan lagi pada 29 April 2022.

Masalah umum: Jika Anda menggunakan Runner V2, Dataflow secara default akan menggunakan penampung SDK Java 8, terlepas dari versi Java pengguna. Untuk mengatasi Java 11, Anda dapat mengganti image SDK default dengan menyediakan opsi pipeline `--worker_harness_container_image=gcr.io/cloud-dataflow/v1beta3/beam_java11_sdk:2.29.0`. Lihat Issue Tracker Apache Beam untuk informasi selengkapnya.

2.28.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.

Tidak digunakan lagi pada 22 Februari 2022.
2.27.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.

Tidak digunakan lagi pada 7 Januari 2022.

Rilis ini menambahkan dukungan untuk JDK 11.
2.26.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-bigquery-protobuf

Tidak digunakan lagi pada 11 Desember 2021.
2.25.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.

Tidak digunakan lagi pada 23 Oktober 2021.
2.24.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.

Tidak digunakan lagi pada 18 September 2021.

Masalah umum: Jika Anda menggunakan timer yang direset, bukan timer yang disetel dan hanya diaktifkan satu kali, Anda tidak boleh mengupgrade ke versi 2.24.0. Saat timer dipicu, tetapi direset sebelum dijalankan, penahanan watermark dapat bocor, sehingga menyebabkan tugas pipeline Anda terhenti. Lihat Issue Tracker Apache Beam untuk informasi selengkapnya.
2.23.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.

Tidak digunakan lagi pada 29 Juli 2021.
2.22.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.

Tidak digunakan lagi pada 8 Juni 2021.
2.21.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Tidak digunakan lagi pada 27 Mei 2021.
2.20.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Tidak digunakan lagi pada 15 April 2021.
2.19.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Tidak digunakan lagi pada 4 Februari 2021.
2.18.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Tidak digunakan lagi pada 23 Januari 2021.
2.17.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Tidak digunakan lagi pada 6 Januari 2021.
2.16.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Tidak digunakan lagi pada 7 Oktober 2020.
2.15.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Tidak digunakan lagi pada 23 Agustus 2020.

Masalah umum:
  • Pengguna Dataflow yang menggunakan fitur skema (termasuk transformasi SQL) tidak boleh mengupgrade ke versi 2.15.0 karena masalah umum. Lihat Issue Tracker Apache Beam untuk informasi selengkapnya.
2.14.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Tidak digunakan lagi pada 1 Agustus 2020.
2.13.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Tidak digunakan lagi pada 6 Juni 2020.

Rilis ini menambahkan dukungan eksperimental untuk JDK 9 dan versi yang lebih baru. Lihat Issue Tracker Apache Beam untuk informasi selengkapnya.
2.12.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Tidak digunakan lagi pada 25 April 2020.

Masalah umum:
  • Runner Dataflow memiliki konfigurasi logging yang salah yang dapat menyebabkan semua log hilang. Untuk mengatasi masalah ini, tambahkan slf4j-jdk14 ke dependensi runtime Anda.
2.11.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Tidak digunakan lagi mulai 1 Maret 2020.

Masalah umum:
  • Runner Dataflow memiliki konfigurasi logging yang salah yang dapat menyebabkan semua log hilang. Untuk mengatasi masalah ini, tambahkan slf4j-jdk14 ke dependensi runtime Anda.
2.10.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Tidak digunakan lagi mulai 11 Februari 2020.

Masalah umum:
  • SDK 2.10.0 bergantung pada library klien gcsio versi 1.9.13, yang memiliki masalah umum:

    Untuk mengatasi masalah ini, upgrade ke SDK 2.11.0, atau ganti versi library klien gcsio ke 1.9.16 atau yang lebih baru.

  • Runner Dataflow memiliki konfigurasi logging yang salah yang dapat menyebabkan semua log hilang. Untuk mengatasi masalah ini, tambahkan slf4j-jdk14 ke dependensi runtime Anda.
2.9.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Tidak digunakan lagi mulai 13 Desember 2019.

Masalah umum:
  • Jika Anda mengaktifkan eksperimen Streaming Engine (Beta), jangan upgrade ke SDK 2.9.0 karena masalah yang diketahui. Jika memilih menggunakan SDK 2.9.0, Anda juga harus menetapkan tanda eksperimental enable_conscrypt_security_provider untuk mengaktifkan Conscrypt, yang memiliki masalah stabilitas umum.
  • Pada kasus tertentu, pengguna Apache Beam Java SDK 2.9.0 dan versi sebelumnya mungkin mengalami duplikasi data saat membaca file dari Cloud Storage. Duplikasi dapat terjadi jika semua kondisi berikut terpenuhi:
    • Anda sedang membaca file dengan encoding konten yang disetel ke gzip, dan file di-transcoding secara dekompresi secara dinamis oleh Cloud Storage.
    • Ukuran file (didekompresi) lebih besar dari 2,14 GB.
    • Stream input mengalami error (dan dibuat ulang) setelah berukuran 2,14 GB dibaca.
    Sebagai solusinya, jangan menyetel header encoding konten, dan menyimpan file terkompresi di Cloud Storage dengan ekstensi yang tepat (misalnya, gz untuk gzip). Untuk file yang sudah ada, Anda dapat memperbarui header dan nama file encoding konten dengan perintah gcloud storage.
2.8.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Tidak digunakan lagi mulai 25 Oktober 2019.

Masalah umum:
  • Pipeline mungkin macet karena ada masalah dengan library Conscrypt. Jika Anda melihat error dalam Stackdriver Logging dengan pelacakan tumpukan yang menyertakan panggilan terkait Conscrypt, Anda mungkin terpengaruh oleh masalah ini. Untuk mengatasi masalah ini, upgrade ke SDK 2.9.0 atau yang lebih baru.
  • Pada kasus tertentu, pengguna Apache Beam Java SDK 2.9.0 dan versi sebelumnya mungkin mengalami duplikasi data saat membaca file dari Cloud Storage. Duplikasi dapat terjadi jika semua kondisi berikut terpenuhi:
    • Anda sedang membaca file dengan encoding konten yang disetel ke gzip, dan file di-transcoding secara dekompresi secara dinamis oleh Cloud Storage.
    • Ukuran file (didekompresi) lebih besar dari 2,14 GB.
    • Stream input mengalami error (dan dibuat ulang) setelah berukuran 2,14 GB dibaca.
    Sebagai solusinya, jangan menyetel header encoding konten, dan menyimpan file terkompresi di Cloud Storage dengan ekstensi yang tepat (misalnya, gz untuk gzip). Untuk file yang sudah ada, Anda dapat memperbarui header dan nama file encoding konten dengan perintah gcloud storage.
2.7.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Tidak digunakan lagi mulai 3 Oktober 2019.

Masalah umum:
  • Pipeline mungkin macet karena ada masalah dengan library Conscrypt. Jika Anda melihat error dalam Stackdriver Logging dengan pelacakan tumpukan yang menyertakan panggilan terkait Conscrypt, Anda mungkin terpengaruh oleh masalah ini. Untuk mengatasi masalah ini, upgrade ke SDK 2.9.0 atau yang lebih baru.
  • Pada kasus tertentu, pengguna Apache Beam Java SDK 2.9.0 dan versi sebelumnya mungkin mengalami duplikasi data saat membaca file dari Cloud Storage. Duplikasi dapat terjadi jika semua kondisi berikut terpenuhi:
    • Anda sedang membaca file dengan encoding konten yang disetel ke gzip, dan file di-transcoding secara dekompresi secara dinamis oleh Cloud Storage.
    • Ukuran file (didekompresi) lebih besar dari 2,14 GB.
    • Stream input mengalami error (dan dibuat ulang) setelah berukuran 2,14 GB dibaca.
    Sebagai solusinya, jangan menyetel header encoding konten, dan menyimpan file terkompresi di Cloud Storage dengan ekstensi yang tepat (misalnya, gz untuk gzip). Untuk file yang sudah ada, Anda dapat memperbarui header dan nama file encoding konten dengan perintah gcloud storage.
2.6.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Tidak digunakan lagi mulai 8 Agustus 2019.

Masalah umum:
  • Pipeline mungkin macet karena ada masalah dengan library Conscrypt. Jika Anda melihat error dalam Stackdriver Logging dengan pelacakan tumpukan yang menyertakan panggilan terkait Conscrypt, Anda mungkin terpengaruh oleh masalah ini. Untuk mengatasi masalah ini, upgrade ke SDK 2.9.0 atau yang lebih baru.
  • Pada kasus tertentu, pengguna Apache Beam Java SDK 2.9.0 dan versi sebelumnya mungkin mengalami duplikasi data saat membaca file dari Cloud Storage. Duplikasi dapat terjadi jika semua kondisi berikut terpenuhi:
    • Anda sedang membaca file dengan encoding konten yang disetel ke gzip, dan file di-transcoding secara dekompresi secara dinamis oleh Cloud Storage.
    • Ukuran file (didekompresi) lebih besar dari 2,14 GB.
    • Stream input mengalami error (dan dibuat ulang) setelah berukuran 2,14 GB dibaca.
    Sebagai solusinya, jangan menyetel header encoding konten, dan menyimpan file terkompresi di Cloud Storage dengan ekstensi yang tepat (misalnya, gz untuk gzip). Untuk file yang sudah ada, Anda dapat memperbarui header dan nama file encoding konten dengan perintah gcloud storage.
2.5.0 Tidak digunakan lagi org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Tidak digunakan lagi mulai 6 Juni 2019.

Masalah umum:
  • Pipeline mungkin macet karena ada masalah dengan library Conscrypt. Jika Anda melihat error dalam Stackdriver Logging dengan pelacakan tumpukan yang menyertakan panggilan terkait Conscrypt, Anda mungkin terpengaruh oleh masalah ini. Untuk mengatasi masalah ini, upgrade ke SDK 2.9.0 atau yang lebih baru.
  • Pada kasus tertentu, pengguna Apache Beam Java SDK 2.9.0 dan versi sebelumnya mungkin mengalami duplikasi data saat membaca file dari Cloud Storage. Duplikasi dapat terjadi jika semua kondisi berikut terpenuhi:
    • Anda sedang membaca file dengan encoding konten yang disetel ke gzip, dan file di-transcoding secara dekompresi secara dinamis oleh Cloud Storage.
    • Ukuran file (didekompresi) lebih besar dari 2,14 GB.
    • Stream input mengalami error (dan dibuat ulang) setelah berukuran 2,14 GB dibaca.
    Sebagai solusinya, jangan menyetel header encoding konten, dan menyimpan file terkompresi di Cloud Storage dengan ekstensi yang tepat (misalnya, gz untuk gzip). Untuk file yang sudah ada, Anda dapat memperbarui header dan nama file encoding konten dengan perintah gcloud storage.
2.4.0 Dinonaktifkan org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Dinonaktifkan sejak 12 Agustus 2020.

Versi ini dinonaktifkan karena penghentian dukungan untuk JSON-RPC dan Global HTTP Batch Endpoints.

Masalah umum:
  • Pada kasus tertentu, pengguna Apache Beam Java SDK 2.9.0 dan versi sebelumnya mungkin mengalami duplikasi data saat membaca file dari Cloud Storage. Duplikasi dapat terjadi jika semua kondisi berikut terpenuhi:
    • Anda sedang membaca file dengan encoding konten yang disetel ke gzip, dan file di-transcoding secara dekompresi secara dinamis oleh Cloud Storage.
    • Ukuran file (didekompresi) lebih besar dari 2,14 GB.
    • Stream input mengalami error (dan dibuat ulang) setelah berukuran 2,14 GB dibaca.
    Sebagai solusinya, jangan menyetel header encoding konten, dan menyimpan file terkompresi di Cloud Storage dengan ekstensi yang tepat (misalnya, gz untuk gzip). Untuk file yang sudah ada, Anda dapat memperbarui header dan nama file encoding konten dengan perintah gcloud storage.
2.3.0 Dinonaktifkan org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-

Dinonaktifkan sejak 12 Agustus 2020.

Versi ini dinonaktifkan karena penghentian dukungan untuk JSON-RPC dan Global HTTP Batch Endpoints.

Masalah umum:
  • Pada kasus tertentu, pengguna Apache Beam Java SDK 2.9.0 dan versi sebelumnya mungkin mengalami duplikasi data saat membaca file dari Cloud Storage. Duplikasi dapat terjadi jika semua kondisi berikut terpenuhi:
    • Anda sedang membaca file dengan encoding konten yang disetel ke gzip, dan file di-transcoding secara dekompresi secara dinamis oleh Cloud Storage.
    • Ukuran file (didekompresi) lebih besar dari 2,14 GB.
    • Stream input mengalami error (dan dibuat ulang) setelah berukuran 2,14 GB dibaca.
    Sebagai solusinya, jangan menyetel header encoding konten, dan menyimpan file terkompresi di Cloud Storage dengan ekstensi yang tepat (misalnya, gz untuk gzip). Untuk file yang sudah ada, Anda dapat memperbarui header dan nama file encoding konten dengan perintah gcloud storage.
2.2.0 Dinonaktifkan org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-

Dinonaktifkan sejak 12 Agustus 2020.

Versi ini dinonaktifkan karena penghentian dukungan untuk JSON-RPC dan Global HTTP Batch Endpoints.

Masalah umum:
  • Pada kasus tertentu, pengguna Apache Beam Java SDK 2.9.0 dan versi sebelumnya mungkin mengalami duplikasi data saat membaca file dari Cloud Storage. Duplikasi dapat terjadi jika semua kondisi berikut terpenuhi:
    • Anda sedang membaca file dengan encoding konten yang disetel ke gzip, dan file di-transcoding secara dekompresi secara dinamis oleh Cloud Storage.
    • Ukuran file (didekompresi) lebih besar dari 2,14 GB.
    • Stream input mengalami error (dan dibuat ulang) setelah berukuran 2,14 GB dibaca.
    Sebagai solusinya, jangan menyetel header encoding konten, dan menyimpan file terkompresi di Cloud Storage dengan ekstensi yang tepat (misalnya, gz untuk gzip). Untuk file yang sudah ada, Anda dapat memperbarui header dan nama file encoding konten dengan perintah gcloud storage.
2.1.0 Dinonaktifkan org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Dinonaktifkan sejak 12 Agustus 2020.

Versi ini dinonaktifkan karena penghentian dukungan untuk JSON-RPC dan Global HTTP Batch Endpoints.

Masalah umum:
  • Pada kasus tertentu, pengguna Apache Beam Java SDK 2.9.0 dan versi sebelumnya mungkin mengalami duplikasi data saat membaca file dari Cloud Storage. Duplikasi dapat terjadi jika semua kondisi berikut terpenuhi:
    • Anda sedang membaca file dengan encoding konten yang disetel ke gzip, dan file di-transcoding secara dekompresi secara dinamis oleh Cloud Storage.
    • Ukuran file (didekompresi) lebih besar dari 2,14 GB.
    • Stream input mengalami error (dan dibuat ulang) setelah berukuran 2,14 GB dibaca.
    Sebagai solusinya, jangan menyetel header encoding konten, dan menyimpan file terkompresi di Cloud Storage dengan ekstensi yang tepat (misalnya, gz untuk gzip). Untuk file yang sudah ada, Anda dapat memperbarui header dan nama file encoding konten dengan perintah gcloud storage.
2.0.0 Dinonaktifkan org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.beam-sdks-java-extensions-protobuf
org.apache.beam:

Dinonaktifkan sejak 12 Agustus 2020.

Versi ini dinonaktifkan karena penghentian dukungan untuk JSON-RPC dan Global HTTP Batch Endpoints.

Masalah umum:
  • Pada kasus tertentu, pengguna Apache Beam Java SDK 2.9.0 dan versi sebelumnya mungkin mengalami duplikasi data saat membaca file dari Cloud Storage. Duplikasi dapat terjadi jika semua kondisi berikut terpenuhi:
    • Anda sedang membaca file dengan encoding konten yang disetel ke gzip, dan file di-transcoding secara dekompresi secara dinamis oleh Cloud Storage.
    • Ukuran file (didekompresi) lebih besar dari 2,14 GB.
    • Stream input mengalami error (dan dibuat ulang) setelah berukuran 2,14 GB dibaca.
    Sebagai solusinya, jangan menyetel header encoding konten, dan menyimpan file terkompresi di Cloud Storage dengan ekstensi yang tepat (misalnya, gz untuk gzip). Untuk file yang sudah ada, Anda dapat memperbarui header dan nama file encoding konten dengan perintah gcloud storage.

Python

Versi SDK Status Komponen yang didukung Detail
2.55.1 Didukung Library Core Python SDK di bagian modul apache_beam: submodules coders, dataframe, metrics, ml.inference (kecuali PytorchModelHandlerKeyedTensor, dan SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sumber berbasis file dan sinkorecords, dan modul terkait di bagian apache_records.

Versi ini tidak akan digunakan lagi pada 8 April 2025.
2.55.0 Didukung Library Core Python SDK di bagian modul apache_beam: submodules coders, dataframe, metrics, ml.inference (kecuali PytorchModelHandlerKeyedTensor, dan SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sumber berbasis file dan sinkorecords, dan modul terkait di bagian apache_records

Versi ini tidak akan digunakan lagi pada 25 Maret 2025.

Masalah umum: Transformasi WriteToJson di pipeline lintas bahasa gagal dengan error. Untuk mengatasi masalah ini, upgrade ke Apache Beam 2.55.1. Untuk informasi selengkapnya, lihat Masalah #30776: Beam YAML WriteToJson gagal.
2.54.0 Didukung



Versi ini tidak akan digunakan lagi pada 14 Februari 2025.
2.53.0 Didukung



Versi ini tidak akan digunakan lagi pada 4 Januari 2025.
2.52.0 Didukung



Versi ini tidak akan digunakan lagi pada 17 November 2024.
2.51.0 Didukung



Versi ini tidak akan digunakan lagi pada 12 Oktober 2024.
2.50.0 Didukung



Versi ini tidak akan digunakan lagi pada 30 Agustus 2024.
2.49.0 Didukung



Versi ini tidak akan digunakan lagi pada 17 Juli 2024.
2.48.0 Didukung



Versi ini tidak akan digunakan lagi pada 31 Mei 2024.
2.47.0 Didukung



Versi ini tidak akan digunakan lagi pada 10 Mei 2024.
2.46.0 Didukung Library Core Python SDK di modul apache_beam: submodules coders, dataframe, metrics, ml.inference (kecuali PytorchModelHandlerKeyedTensor, dan SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sumber berbasis file dan sinkorecords, dan modul terkait di bagian apache_records.

Versi ini tidak akan digunakan lagi pada 10 September 2024. Jangka waktu dukungan untuk versi ini telah diperpanjang karena adanya masalah umum yang ditemukan dalam rilis selanjutnya.
2.45.0 Tidak digunakan lagi Library Core Python SDK di modul apache_beam: submodules coders, dataframe, metrics, ml.inference (kecuali PytorchModelHandlerKeyedTensor, dan SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sumber berbasis file dan sinkorecords, dan modul terkait di bagian apache_records.

Tidak digunakan lagi pada 15 Februari 2024.
2.44.0 Tidak digunakan lagi Library Core Python SDK di bagian modul apache_beam: submodules coders, dataframe, metrics, ml.inference (kecuali PytorchModelHandlerKeyedTensor, dan SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sumber berbasis file dan sinkorecords, dan modul terkait di bagian apache_records

Tidak digunakan lagi pada 13 Januari 2024.
2.43.0 Tidak digunakan lagi Library Core Python SDK di bagian modul apache_beam: submodules coders, dataframe, metrics, ml.inference (kecuali PytorchModelHandlerKeyedTensor, dan SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sumber berbasis file dan sinkorecords, dan modul terkait di bagian apache_records

Tidak digunakan lagi pada 17 November 2023.
2.42.0 Tidak digunakan lagi Library Core Python SDK di bagian modul apache_beam: submodules coders, dataframe, metrics, ml.inference (kecuali PytorchModelHandlerKeyedTensor, dan SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sumber berbasis file dan sinkorecords, dan modul terkait di bagian apache_records.

Tidak digunakan lagi pada 17 Oktober 2023.
2.41.0 Tidak digunakan lagi Library Core Python SDK di bagian modul apache_beam: submodules coders, dataframe, metrics, ml.inference (kecuali PytorchModelHandlerKeyedTensor, dan SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sumber berbasis file dan sinkorecords, dan modul terkait di bagian apache_records.

Tidak digunakan lagi pada 23 Agustus 2023.
2.40.0 Tidak digunakan lagi Library Core Python SDK di bagian modul apache_beam: submodules coders, dataframe, metrics, ml.inference (kecuali PytorchModelHandlerKeyedTensor, dan SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sumber berbasis file dan sinkorecords, dan modul terkait di bagian apache_records.

Tidak digunakan lagi pada 27 Juni 2023.
2.39.0 Tidak digunakan lagi Library Core Python SDK di modul apache_beam: submodules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfile filesfile

Tidak digunakan lagi pada 25 Mei 2023.
2.38.0 Tidak digunakan lagi Library Core Python SDK di modul apache_beam: submodules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfile filesfile

Tidak digunakan lagi pada 20 April 2023.
2.37.0 Tidak digunakan lagi Library Core Python SDK: di modul apache_beam: submodules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio,


Tidak digunakan lagi pada 4 Maret 2023.

Masalah umum:
  • Saat Anda menggunakan WriteToBigQuery dengan parameter ignore_unknown_columns yang ditetapkan ke true, nilai parameter tersebut akan diabaikan. Masalah ini diperbaiki di versi 2.38.0. Lihat BEAM-14039 untuk mengetahui detailnya.
2.36.0 Tidak digunakan lagi Library Core Python SDK: di bagian modul apache_beam: submodules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio,


Tidak digunakan lagi pada 7 Februari 2023.

Masalah umum:
  • Saat Anda menggunakan WriteToBigQuery dengan parameter ignore_unknown_columns yang ditetapkan ke true, nilai parameter tersebut akan diabaikan. Masalah ini diperbaiki di versi 2.38.0. Lihat BEAM-14039 untuk mengetahui detailnya.
2.35.0 Tidak digunakan lagi Library Core Python SDK: di modul apache_beam: submodules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio,


Tidak digunakan lagi pada 29 Desember 2022.
2.34.0 Tidak digunakan lagi Library Core Python SDK di bagian modul apache_beam: submodules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, file local gcs.

Tidak digunakan lagi pada 11 November 2022.
2.33.0 Tidak digunakan lagi Library Core Python SDK di bagian module apache_beam: submodules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcfilesfiles filesystem,

Tidak digunakan lagi pada 7 Oktober 2022.
2.32.0 Tidak digunakan lagi Library Core Python SDK di bagian module apache_beam: submodules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcfilesfiles filesystem,

Tidak digunakan lagi pada 25 Agustus 2022.
2.31.0 Tidak digunakan lagi Library Core Python SDK di bagian modul apache_beam: submodules coders, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcfilesfiles filesystem,

Tidak digunakan lagi pada 8 Juli 2022.
2.30.0 Tidak digunakan lagi Library Core Python SDK di bagian modul apache_beam: submodules coders, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcfilesfilesystem,

Tidak digunakan lagi pada 10 Juni 2022.
2.29.0 Tidak digunakan lagi Library Core Python SDK di bagian modul apache_beam: submodules coders, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcfilesfilesystem,

Tidak digunakan lagi pada 29 April 2022.
2.28.0 Tidak digunakan lagi Library Core Python SDK di bagian modul apache_beam: submodules coders, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcfilesfilesystem,

Tidak digunakan lagi pada 22 Februari 2022.
2.27.0 Tidak digunakan lagi Library Core Python SDK di bagian modul apache_beam: submodules coders, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcfilesfilesystem,

Tidak digunakan lagi pada 7 Januari 2022.
2.26.0 Tidak digunakan lagi Library Core Python SDK di bagian modul apache_beam: submodules coders, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcfilesfilesystem,

Tidak digunakan lagi pada 11 Desember 2021.
2.25.0 Tidak digunakan lagi Library Core Python SDK di bagian modul apache_beam: submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, pubsub_bigquerysystem, file local/localstore

Tidak digunakan lagi pada 23 Oktober 2021.
2.24.0 Tidak digunakan lagi Library Core Python SDK di bagian modul apache_beam: submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, pubsub_bigquerysystem, file local/localstore

Tidak digunakan lagi pada 18 September 2021. Selain itu, versi Apache Beam SDK 2.24.0 adalah versi terakhir yang mendukung Python 2 dan Python 3.5.

Dataflow tidak lagi mendukung pipeline menggunakan Python 2. Baca informasi lebih lanjut di halaman Dukungan Python 2 di Google Cloud.
2.23.0 Tidak digunakan lagi Library Core Python SDK di bagian modul apache_beam: submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, pubsub_bigquerysystem, file local/localstore

Tidak digunakan lagi pada 29 Juli 2021.

Dataflow tidak lagi mendukung pipeline menggunakan Python 2. Baca informasi lebih lanjut di halaman Dukungan Python 2 di Google Cloud.
2.22.0 Tidak digunakan lagi Library Core Python SDK di bagian modul apache_beam: submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, pubsub_bigquerysystem, file local/localstore

Tidak digunakan lagi pada 8 Juni 2021.

Dataflow tidak lagi mendukung pipeline menggunakan Python 2. Baca informasi lebih lanjut di halaman Dukungan Python 2 di Google Cloud.
2.21.0 Tidak digunakan lagi Library Core Python SDK di bawah modul apache_beam: submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, file local/system Iche
O

Tidak digunakan lagi pada 27 Mei 2021.

Dataflow tidak lagi mendukung pipeline menggunakan Python 2. Baca informasi lebih lanjut di halaman Dukungan Python 2 di Google Cloud.
2.20.0 Tidak digunakan lagi Library Core Python SDK di bawah modul apache_beam: submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, file local/system Iche
O

Tidak digunakan lagi pada 15 April 2021.

Dataflow tidak lagi mendukung pipeline menggunakan Python 2. Baca informasi lebih lanjut di halaman Dukungan Python 2 di Google Cloud.
2.19.0 Tidak digunakan lagi Library Core Python SDK di bawah modul apache_beam: submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, file local/system Iche
O

Tidak digunakan lagi pada 4 Februari 2021.

Dataflow tidak lagi mendukung pipeline menggunakan Python 2. Baca informasi lebih lanjut di halaman Dukungan Python 2 di Google Cloud.
2.18.0 Tidak digunakan lagi Library Core Python SDK di bawah modul apache_beam: submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, file local/system Iche
O

Tidak digunakan lagi pada 23 Januari 2021.

Dataflow tidak lagi mendukung pipeline menggunakan Python 2. Baca informasi lebih lanjut di halaman Dukungan Python 2 di Google Cloud.
2.17.0 Tidak digunakan lagi Library Core Python SDK di bawah modul apache_beam: submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, file local/system Iche
O

Tidak digunakan lagi pada 6 Januari 2021.

Dataflow tidak lagi mendukung pipeline menggunakan Python 2. Baca informasi lebih lanjut di halaman Dukungan Python 2 di Google Cloud.
2.16.0 Tidak digunakan lagi Library Core Python SDK di bawah modul apache_beam: submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, file local/system Iche
O
Tidak digunakan lagi pada 7 Oktober 2020.
2.15.0 Tidak digunakan lagi Library Core Python SDK di bawah modul apache_beam: submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, file local/system Iche
O
Tidak digunakan lagi pada 23 Agustus 2020.
2.14.0 Tidak digunakan lagi Library Core Python SDK di bawah modul apache_beam: submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, file local/system Iche
O

Tidak digunakan lagi pada 1 Agustus 2020.

Masalah umum:
  • Sumber MongoDB yang ditambahkan dalam rilis ini memiliki masalah umum yang dapat mengakibatkan kehilangan data. Lihat BEAM-7866 untuk mengetahui detailnya.
2.13.0 Tidak digunakan lagi Library Core Python SDK di bawah modul apache_beam: submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, file local/system Iche
O
Tidak digunakan lagi mulai 6 Juni 2020.
2.12.0 Tidak digunakan lagi Library Core Python SDK di bawah modul apache_beam: submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, file local/system Iche
O
Tidak digunakan lagi mulai 25 April 2020.
2.11.0 Tidak digunakan lagi Library Core Python SDK di bawah modul apache_beam: submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sumber dan sink berbasis file, serta modul terkait di bagian modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, file local/system Iche
O
Tidak digunakan lagi mulai 1 Maret 2020.
2.10.0 Tidak digunakan lagi Tidak digunakan lagi mulai 11 Februari 2020.
2.9.0 Tidak digunakan lagi Tidak digunakan lagi mulai 13 Desember 2019.
2.8.0 Tidak digunakan lagi Tidak digunakan lagi mulai 25 Oktober 2019.
2.7.0 Tidak digunakan lagi

Tidak digunakan lagi mulai 3 Oktober 2019.
2.6.0 Tidak digunakan lagi Tidak digunakan lagi mulai 8 Agustus 2019.
2.5.0 Tidak digunakan lagi Tidak digunakan lagi mulai 6 Juni 2019.
2.4.0 Tidak digunakan lagi Tidak digunakan lagi mulai 20 Maret 2019.
2.3.0 Tidak digunakan lagi Tidak digunakan lagi mulai 30 Januari 2019.
2.2.0 Tidak digunakan lagi Tidak digunakan lagi mulai 2 Desember 2018.
2.1.1
2.1.0		 Tidak digunakan lagi Tidak digunakan lagi mulai 23 Agustus 2018.
2.0.0 Tidak digunakan lagi Tidak digunakan lagi mulai 17 Mei 2018.

Go

Versi SDK Status Komponen yang didukung Detail
2.55.1 Didukung Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Versi ini tidak akan digunakan lagi pada 8 April 2025.
2.55.0 Didukung Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Versi ini tidak akan digunakan lagi pada 25 Maret 2025.
2.54.0 Didukung Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Versi ini tidak akan digunakan lagi pada 14 Februari 2025.
2.53.0 Didukung Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Versi ini tidak akan digunakan lagi pada 4 Januari 2025.
2.52.0 Didukung Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Versi ini tidak akan digunakan lagi pada 17 November 2024.
2.51.0 Didukung Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Versi ini tidak akan digunakan lagi pada 12 Oktober 2024.
2.50.0 Didukung Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Versi ini tidak akan digunakan lagi pada 30 Agustus 2024.
2.49.0 Didukung Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Versi ini tidak akan digunakan lagi pada 17 Juli 2024.
2.48.0 Didukung Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Versi ini tidak akan digunakan lagi pada 31 Mei 2024.
2.47.0 Didukung Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Versi ini tidak akan digunakan lagi pada 10 Mei 2024.
2.46.0 Tidak digunakan lagi Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Tidak digunakan lagi pada 10 Maret 2024.
2.45.0 Tidak digunakan lagi Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Tidak digunakan lagi pada 15 Februari 2024.
2.44.0 Tidak digunakan lagi Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Tidak digunakan lagi pada 13 Januari 2024.
2.43.0 Tidak digunakan lagi Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Tidak digunakan lagi pada 17 November 2023.
2.42.0 Tidak digunakan lagi Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Tidak digunakan lagi pada 17 Oktober 2023.
2.41.0 Tidak digunakan lagi Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Tidak digunakan lagi pada 23 Agustus 2023.
2.40.0 Tidak digunakan lagi Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Tidak digunakan lagi pada 27 Juni 2023.
2.39.0 Tidak digunakan lagi Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/xlang
 Tidak digunakan lagi pada 25 Mei 2023.
2.38.0 Tidak digunakan lagi Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Tidak digunakan lagi pada 20 April 2023.
2.37.0 Tidak digunakan lagi Paket dalam direktori berikut:
- Paket Core Beam Go SDK
- beam/transforms
- beam/io/textio
- beam/io/xlang
 Tidak digunakan lagi pada 4 Maret 2023.

SDK Dataflow 2.x

Tabel berikut berisi status dukungan untuk Dataflow 2.x SDK, termasuk Dataflow Java SDK dan Dataflow Python SDK:

Java

Lihat Catatan rilis Dataflow SDK 2.x untuk Java guna mengetahui informasi perubahan.

Versi SDK Status Detail
2.5.0 Tidak digunakan lagi

Tidak digunakan lagi mulai 6 Juni 2019.

Masalah umum:
  • Dalam kasus tertentu, pengguna Dataflow Java SDK 2.5.0 dan versi sebelumnya mungkin mengalami duplikasi data saat membaca file dari Cloud Storage. Duplikasi dapat terjadi jika semua kondisi berikut terpenuhi:
    • Anda sedang membaca file dengan encoding konten yang disetel ke gzip, dan file di-transcoding secara dekompresi secara dinamis oleh Cloud Storage.
    • Ukuran file (didekompresi) lebih besar dari 2,14 GB.
    • Stream input mengalami error (dan dibuat ulang) setelah berukuran 2,14 GB dibaca.
    Sebagai solusinya, jangan menyetel header encoding konten, dan menyimpan file terkompresi di Cloud Storage dengan ekstensi yang tepat (misalnya, gz untuk gzip). Untuk file yang sudah ada, Anda dapat memperbarui header dan nama file encoding konten dengan perintah gcloud storage.
2.4.0 Dinonaktifkan

Dinonaktifkan sejak 12 Agustus 2020.

Versi ini dinonaktifkan karena penghentian dukungan untuk JSON-RPC dan Global HTTP Batch Endpoints.

Masalah umum:
  • Dalam kasus tertentu, pengguna Dataflow Java SDK 2.5.0 dan versi sebelumnya mungkin mengalami duplikasi data saat membaca file dari Cloud Storage. Duplikasi dapat terjadi jika semua kondisi berikut terpenuhi:
    • Anda sedang membaca file dengan encoding konten yang disetel ke gzip, dan file di-transcoding secara dekompresi secara dinamis oleh Cloud Storage.
    • Ukuran file (didekompresi) lebih besar dari 2,14 GB.
    • Stream input mengalami error (dan dibuat ulang) setelah berukuran 2,14 GB dibaca.
    Sebagai solusinya, jangan menyetel header encoding konten, dan menyimpan file terkompresi di Cloud Storage dengan ekstensi yang tepat (misalnya, gz untuk gzip). Untuk file yang sudah ada, Anda dapat memperbarui header dan nama file encoding konten dengan perintah gcloud storage.
2.3.0 Dinonaktifkan

Dinonaktifkan sejak 12 Agustus 2020.

Versi ini dinonaktifkan karena penghentian dukungan untuk JSON-RPC dan Global HTTP Batch Endpoints.

Masalah umum:
  • Dalam kasus tertentu, pengguna Dataflow Java SDK 2.5.0 dan versi sebelumnya mungkin mengalami duplikasi data saat membaca file dari Cloud Storage. Duplikasi dapat terjadi jika semua kondisi berikut terpenuhi:
    • Anda sedang membaca file dengan encoding konten yang disetel ke gzip, dan file di-transcoding secara dekompresi secara dinamis oleh Cloud Storage.
    • Ukuran file (didekompresi) lebih besar dari 2,14 GB.
    • Stream input mengalami error (dan dibuat ulang) setelah berukuran 2,14 GB dibaca.
    Sebagai solusinya, jangan menyetel header encoding konten, dan menyimpan file terkompresi di Cloud Storage dengan ekstensi yang tepat (misalnya, gz untuk gzip). Untuk file yang sudah ada, Anda dapat memperbarui header dan nama file encoding konten dengan perintah gcloud storage.
2.2.0 Dinonaktifkan

Dinonaktifkan sejak 12 Agustus 2020.

Versi ini dinonaktifkan karena penghentian dukungan untuk JSON-RPC dan Global HTTP Batch Endpoints.

Masalah umum:
  • Dalam kasus tertentu, pengguna Dataflow Java SDK 2.5.0 dan versi sebelumnya mungkin mengalami duplikasi data saat membaca file dari Cloud Storage. Duplikasi dapat terjadi jika semua kondisi berikut terpenuhi:
    • Anda sedang membaca file dengan encoding konten yang disetel ke gzip, dan file di-transcoding secara dekompresi secara dinamis oleh Cloud Storage.
    • Ukuran file (didekompresi) lebih besar dari 2,14 GB.
    • Stream input mengalami error (dan dibuat ulang) setelah berukuran 2,14 GB dibaca.
    Sebagai solusinya, jangan menyetel header encoding konten, dan menyimpan file terkompresi di Cloud Storage dengan ekstensi yang tepat (misalnya, gz untuk gzip). Untuk file yang sudah ada, Anda dapat memperbarui header dan nama file encoding konten dengan perintah gcloud storage.
2.1.0 Dinonaktifkan

Dinonaktifkan sejak 12 Agustus 2020.

Versi ini dinonaktifkan karena penghentian dukungan untuk JSON-RPC dan Global HTTP Batch Endpoints.

Masalah umum:
  • Dalam kasus tertentu, pengguna Dataflow Java SDK 2.5.0 dan versi sebelumnya mungkin mengalami duplikasi data saat membaca file dari Cloud Storage. Duplikasi dapat terjadi jika semua kondisi berikut terpenuhi:
    • Anda sedang membaca file dengan encoding konten yang disetel ke gzip, dan file di-transcoding secara dekompresi secara dinamis oleh Cloud Storage.
    • Ukuran file (didekompresi) lebih besar dari 2,14 GB.
    • Stream input mengalami error (dan dibuat ulang) setelah berukuran 2,14 GB dibaca.
    Sebagai solusinya, jangan menyetel header encoding konten, dan menyimpan file terkompresi di Cloud Storage dengan ekstensi yang tepat (misalnya, gz untuk gzip). Untuk file yang sudah ada, Anda dapat memperbarui header dan nama file encoding konten dengan perintah gcloud storage.
2.0.0 Dinonaktifkan

Dinonaktifkan sejak 12 Agustus 2020.

Versi ini dinonaktifkan karena penghentian dukungan untuk JSON-RPC dan Global HTTP Batch Endpoints.

Masalah umum:
  • Dalam kasus tertentu, pengguna Dataflow Java SDK 2.5.0 dan versi sebelumnya mungkin mengalami duplikasi data saat membaca file dari Cloud Storage. Duplikasi dapat terjadi jika semua kondisi berikut terpenuhi:
    • Anda sedang membaca file dengan encoding konten yang disetel ke gzip, dan file di-transcoding secara dekompresi secara dinamis oleh Cloud Storage.
    • Ukuran file (didekompresi) lebih besar dari 2,14 GB.
    • Stream input mengalami error (dan dibuat ulang) setelah berukuran 2,14 GB dibaca.
    Sebagai solusinya, jangan menyetel header encoding konten, dan menyimpan file terkompresi di Cloud Storage dengan ekstensi yang tepat (misalnya, gz untuk gzip). Untuk file yang sudah ada, Anda dapat memperbarui header dan nama file encoding konten dengan perintah gcloud storage.
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
 Dinonaktifkan

Dinonaktifkan sejak 28 Februari 2018.

Masalah umum:
  • Dalam kasus tertentu, pengguna Dataflow Java SDK 2.5.0 dan versi sebelumnya mungkin mengalami duplikasi data saat membaca file dari Cloud Storage. Duplikasi dapat terjadi jika semua kondisi berikut terpenuhi:
    • Anda sedang membaca file dengan encoding konten yang disetel ke gzip, dan file di-transcoding secara dekompresi secara dinamis oleh Cloud Storage.
    • Ukuran file (didekompresi) lebih besar dari 2,14 GB.
    • Stream input mengalami error (dan dibuat ulang) setelah berukuran 2,14 GB dibaca.
    Sebagai solusinya, jangan menyetel header encoding konten, dan menyimpan file terkompresi di Cloud Storage dengan ekstensi yang tepat (misalnya, gz untuk gzip). Untuk file yang sudah ada, Anda dapat memperbarui header dan nama file encoding konten dengan perintah gcloud storage.

Python

Lihat catatan rilis Dataflow SDK 2.x untuk Python untuk mengetahui informasi perubahan.

Versi SDK Status Detail
2.5.0 Tidak digunakan lagi Tidak digunakan lagi mulai 6 Juni 2019.
2.4.0 Tidak digunakan lagi Tidak digunakan lagi mulai 20 Maret 2019.
2.3.0 Tidak digunakan lagi Tidak digunakan lagi mulai 30 Januari 2019.
2.2.0 Tidak digunakan lagi Tidak digunakan lagi mulai 2 Desember 2018.
2.1.1 Tidak digunakan lagi Tidak digunakan lagi mulai 23 Agustus 2018.
Memperbaiki masalah kompatibilitas dengan paket six Python.
Lihat catatan rilis untuk informasi selengkapnya.
2.1.0 Tidak digunakan lagi Tidak digunakan lagi mulai 23 Agustus 2018.
Rilis ini memiliki masalah kompatibilitas dengan paket Python six 1.11.0.
Lihat Catatan Rilis untuk mengetahui informasi selengkapnya.
2.0.0 Tidak digunakan lagi Tidak digunakan lagi mulai 17 Mei 2018.
Rilis ini memiliki masalah kompatibilitas dengan paket Python six 1.11.0.
Lihat Catatan Rilis untuk mengetahui informasi selengkapnya.
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
 Dinonaktifkan Dinonaktifkan sejak 29 Januari 2018.
0.2.7 dan versi sebelumnya Dinonaktifkan Dinonaktifkan sejak 23 Maret 2017.