SDK とワーカーの依存関係

Apache Beam SDK と Cloud Dataflow ワーカーは共通のサードパーティ コンポーネントに依存し、そのようなコンポーネントがさらに追加の依存関係をインポートします。バージョンが競合すると、サービスで予期しない動作が発生することがあります。次に示すパッケージのいずれかをコードで使用する場合は、一部のライブラリに前方互換性がないため、リストに記載されているバージョンに固定し、実行時にそのバージョンの範囲に収まるようにしてください。

このページには、Apache Beam と Cloud Dataflow SDK の各リリースの依存関係とワーカー パッケージの情報が含まれています。

Apache Beam 2.x SDK

SDK for Java

注: Apache Beam SDK for Java の依存関係情報は、Apache Beam SDK for Java の依存関係ページに表示されています。

SDK for Python

注: Apache Beam SDK for Python の依存関係情報は、Apache Beam SDK for Python の依存関係ページに表示されています。

バージョン 2.13.0

Cloud Dataflow ワーカーには、次のパッケージがすでにインストールされています。

Python 2.7

パッケージバージョン
absl-py0.7.1
astor0.8.0
avro1.8.2
backports.weakref1.0.post1
beautifulsoup44.5.1
bs40.0.1
cachetools3.1.1
certifi2019.3.9
chardet3.0.4
crcmod1.7
Cython0.28.1
dill0.2.9
docopt0.6.2
enum341.1.6
fastavro0.21.14
fasteners0.15
funcsigs1.0.2
future0.17.1
futures3.2.0
gast0.2.2
google-api-core1.11.1
google-api-python-client1.7.9
google-apitools0.5.28
google-auth1.6.3
google-auth-httplib20.0.3
google-cloud-bigquery1.6.0
google-cloud-bigtable0.32.1
google-cloud-core0.29.1
google-cloud-datastore1.7.3
google-cloud-pubsub0.39.1
google-pasta0.1.6
google-python-cloud-debugger1.9
google-resumable-media0.3.2
googleapis-common-protos1.6.0
googledatastore7.0.2
grpc-google-iam-v10.11.4
grpcio1.20.1
guppy0.1.10
h5py2.9.0
hdfs2.5.2
httplib20.12.0
idna2.8
Keras-Applications1.0.7
Keras-Preprocessing1.0.9
Markdown3.1.1
mock2.0.0
monotonic1.5
nltk3.2.1
nose1.3.7
numpy1.16.3
oauth2client3.0.0
pandas0.24.2
pbr5.2.0
Pillow3.4.1
pip19.1.1
proto-google-cloud-datastore-v10.90.4
protobuf3.7.1
protorpc0.11.1
pyarrow0.13.0
pyasn10.4.5
pyasn1-modules0.2.5
pydot1.2.4
pyparsing2.4.0
python-dateutil2.8.0
python-gflags3.0.6
python-snappy0.5.3
pytz2019.1
PyVCF0.6.8
PyYAML3.13
requests2.22.0
rsa4.0
scikit-learn0.20.3
scipy1.2.1
setuptools41.0.1
six1.12.0
tensorboard1.13.1
tensorflow1.14.0rc0
termcolor1.1.0
tf-estimator-nightly1.14.0.dev2019042301
typing3.6.6
uritemplate3.0.0
urllib31.25.3
Werkzeug0.15.4
wheel0.32.1
wrapt1.11.1

Python 3.5

パッケージバージョン
absl-py0.7.1
astor0.8.0
avro-python31.8.2
beautifulsoup44.5.1
bs40.0.1
cachetools3.1.1
certifi2019.3.9
chardet3.0.4
crcmod1.7
Cython0.28.1
dill0.2.9
docopt0.6.2
fastavro0.21.14
fasteners0.15
future0.17.1
gast0.2.2
google-api-core1.11.1
google-apitools0.5.28
google-auth1.6.3
google-cloud-bigquery1.6.0
google-cloud-bigtable0.32.1
google-cloud-core0.29.1
google-cloud-datastore1.7.3
google-cloud-pubsub0.39.1
google-pasta0.1.6
google-resumable-media0.3.2
googleapis-common-protos1.6.0
grpc-google-iam-v10.11.4
grpcio1.20.1
h5py2.9.0
hdfs2.5.2
httplib20.12.0
idna2.8
Keras-Applications1.0.7
Keras-Preprocessing1.0.9
Markdown3.1.1
mock2.0.0
monotonic1.5
nltk3.2.1
nose1.3.7
numpy1.16.3
oauth2client3.0.0
pandas0.24.2
pbr5.2.0
Pillow3.4.1
pip19.1.1
protobuf3.7.1
protorpc0.11.1
pyarrow0.13.0
pyasn10.4.5
pyasn1-modules0.2.5
pydot1.2.4
pyparsing2.4.0
python-dateutil2.8.0
python-gflags3.0.6
python-snappy0.5.3
pytz2019.1
PyYAML3.13
requests2.22.0
rsa4.0
scikit-learn0.20.3
scipy1.2.1
setuptools41.0.1
six1.12.0
tensorboard1.13.1
tensorflow1.14.0rc0
termcolor1.1.0
tf-estimator-nightly1.14.0.dev2019042301
urllib31.25.3
Werkzeug0.15.4
wheel0.32.1
wrapt1.11.1

Python 3.6

パッケージバージョン
absl-py0.7.1
astor0.8.0
avro-python31.8.2
beautifulsoup44.5.1
bs40.0.1
cachetools3.1.1
certifi2019.3.9
chardet3.0.4
crcmod1.7
Cython0.28.1
dill0.2.9
docopt0.6.2
fastavro0.21.14
fasteners0.15
future0.17.1
gast0.2.2
google-api-core1.11.1
google-apitools0.5.28
google-auth1.6.3
google-cloud-bigquery1.6.0
google-cloud-bigtable0.32.1
google-cloud-core0.29.1
google-cloud-datastore1.7.3
google-cloud-pubsub0.39.1
google-pasta0.1.6
google-resumable-media0.3.2
googleapis-common-protos1.6.0
grpc-google-iam-v10.11.4
grpcio1.20.1
h5py2.9.0
hdfs2.5.2
httplib20.12.0
idna2.8
Keras-Applications1.0.7
Keras-Preprocessing1.0.9
Markdown3.1.1
mock2.0.0
monotonic1.5
nltk3.2.1
nose1.3.7
numpy1.16.3
oauth2client3.0.0
pandas0.24.2
pbr5.2.0
Pillow3.4.1
pip19.1.1
protobuf3.7.1
protorpc0.11.1
pyarrow0.13.0
pyasn10.4.5
pyasn1-modules0.2.5
pydot1.2.4
pyparsing2.4.0
python-dateutil2.8.0
python-gflags3.0.6
python-snappy0.5.3
pytz2019.1
PyYAML3.13
requests2.22.0
rsa4.0
scikit-learn0.20.3
scipy1.2.1
setuptools41.0.1
six1.12.0
tensorboard1.13.1
tensorflow1.14.0rc0
termcolor1.1.0
tf-estimator-nightly1.14.0.dev2019042301
urllib31.25.3
Werkzeug0.15.4
wheel0.32.1
wrapt1.11.1

Python 3.7

パッケージバージョン
absl-py0.7.1
astor0.8.0
avro-python31.8.2
beautifulsoup44.5.1
bs40.0.1
cachetools3.1.1
certifi2019.3.9
chardet3.0.4
crcmod1.7
Cython0.28.1
dill0.2.9
docopt0.6.2
fastavro0.21.14
fasteners0.15
future0.17.1
gast0.2.2
google-api-core1.11.1
google-apitools0.5.28
google-auth1.6.3
google-cloud-bigquery1.6.0
google-cloud-bigtable0.32.1
google-cloud-core0.29.1
google-cloud-datastore1.7.3
google-cloud-pubsub0.39.1
google-pasta0.1.6
google-resumable-media0.3.2
googleapis-common-protos1.6.0
grpc-google-iam-v10.11.4
grpcio1.20.1
h5py2.9.0
hdfs2.5.2
httplib20.12.0
idna2.8
Keras-Applications1.0.7
Keras-Preprocessing1.0.9
Markdown3.1.1
mock2.0.0
monotonic1.5
nltk3.2.1
nose1.3.7
numpy1.16.3
oauth2client3.0.0
pandas0.24.2
pbr5.2.0
Pillow3.4.1
pip19.1.1
protobuf3.7.1
protorpc0.11.1
pyarrow0.13.0
pyasn10.4.5
pyasn1-modules0.2.5
pydot1.2.4
pyparsing2.4.0
python-dateutil2.8.0
python-gflags3.0.6
python-snappy0.5.3
pytz2019.1
PyYAML3.13
requests2.22.0
rsa4.0
scikit-learn0.20.3
scipy1.2.1
setuptools41.0.1
six1.12.0
tensorboard1.13.1
tensorflow1.14.0rc0
termcolor1.1.0
tf-estimator-nightly1.14.0.dev2019042301
urllib31.25.3
Werkzeug0.15.4
wheel0.32.1
wrapt1.11.1

Cloud Dataflow 2.x SDK

SDK for Java

JAR が競合するバージョンを使用しているかどうかを特定するには、プロジェクトの依存関係ツリーを調べます。依存関係ツリーは、Maven などの各種ツールを使って生成できます。

次の表のライブラリについては、pom.xml で「latest」を指定しないでください。

SDK for Python

Cloud Dataflow 1.x SDK

SDK for Java

このページは役立ちましたか?評価をお願いいたします。

フィードバックを送信...

ご不明な点がありましたら、Google のサポートページをご覧ください。