SDK とワーカーの依存関係

Apache Beam SDK と Dataflow ワーカーは共通のサードパーティ コンポーネントに依存し、そのようなコンポーネントがさらに追加の依存関係をインポートします。バージョンが競合すると、サービスで予期しない動作が発生することがあります。次に示すパッケージのいずれかをコードで使用する場合は、一部のライブラリに前方互換性がないため、リストに記載されているバージョンに固定し、実行時にそのバージョンの範囲に収まるようにしてください。

このページには、Apache Beam と Dataflow SDK の各リリースの依存関係とワーカー パッケージの情報が含まれています。

Apache Beam 2.x SDK

SDK for Java

注: Apache Beam SDK for Java の依存関係情報は、Apache Beam SDK for Java の依存関係ページに表示されています。

SDK for Python

バージョン 2.24.0

Dataflow ワーカーには、次のパッケージがすでにインストールされています。

Python 2.7.18

パッケージバージョン
absl-py0.10.0
astor0.8.1
atomicwrites1.4.0
attrs20.1.0
avro1.8.2
backports.functools-lru-cache1.6.1
backports.weakref1.0.post1
beautifulsoup44.9.1
bs40.0.1
cachetools3.1.1
certifi2020.6.20
chardet3.0.4
configparser4.0.2
contextlib20.6.0.post1
crcmod1.7
Cython0.29.21
dill0.3.1.1
docopt0.6.2
enum341.1.10
fastavro0.23.5
fasteners0.15
freezegun0.3.15
funcsigs1.0.2
functools323.2.3.post2
future0.18.2
futures3.3.0
gast0.2.2
google-api-core1.22.2
google-api-python-client1.11.0
google-apitools0.5.31
google-auth1.21.1
google-auth-httplib20.0.4
google-auth-oauthlib0.4.1
google-cloud-bigquery1.26.1
google-cloud-bigtable1.0.0
google-cloud-core1.1.0
google-cloud-datastore1.7.4
google-cloud-dlp0.13.0
google-cloud-language1.3.0
google-cloud-pubsub1.0.2
google-cloud-spanner1.13.0
google-cloud-videointelligence1.13.0
google-cloud-vision0.42.0
google-pasta0.2.0
google-python-cloud-debugger1.9
google-resumable-media1.0.0
googleapis-common-protos1.52.0
grpc-google-iam-v10.12.3
grpcio1.30.0
grpcio-gcp0.2.2
guppy0.1.11
h5py2.10.0
hdfs2.5.8
httplib20.17.3
idna2.10
importlib-metadata1.7.0
Keras-Applications1.0.8
Keras-Preprocessing1.1.2
Markdown3.1.1
mock2.0.0
monotonic1.5
more-itertools5.0.0
nltk3.4.5
nose1.3.7
nose-xunitmp0.4.1
numpy1.16.5
oauth2client3.0.0
oauthlib3.1.0
opt-einsum2.3.2
packaging20.4
pandas0.24.2
pathlib22.3.5
pbr5.5.0
Pillow6.2.2
pip20.2.2
pluggy0.13.1
protobuf3.12.2
protorpc0.12.0
py1.9.0
pyarrow0.16.0
pyasn10.4.8
pyasn1-modules0.2.8
pydot1.4.1
pymongo3.10.1
pyparsing2.4.7
pytest4.6.11
python-dateutil2.8.1
python-gflags3.1.2
python-snappy0.5.4
pytz2020.1
PyVCF0.6.8
PyYAML5.3.1
requests2.24.0
requests-oauthlib1.3.0
rsa4.0
scandir1.10.0
scikit-learn0.20.4
scipy1.2.2
setuptools44.1.0
singledispatch3.4.0.3
six1.15.0
soupsieve1.9.6
tensorboard2.1.0
tensorflow2.1.0
tensorflow-estimator2.1.0
termcolor1.1.0
typing3.7.4.1
typing-extensions3.7.4.2
uritemplate3.0.1
urllib31.25.10
wcwidth0.2.5
Werkzeug1.0.1
wheel0.34.2
wrapt1.12.1
zipp1.2.0

Python 3.5.9

パッケージバージョン
absl-py0.10.0
astor0.8.1
atomicwrites1.4.0
attrs20.1.0
avro-python31.8.2
beautifulsoup44.9.1
bs40.0.1
cachetools3.1.1
certifi2020.6.20
cffi1.14.2
chardet3.0.4
click7.1.2
crcmod1.7
Cython0.29.21
dill0.3.1.1
docopt0.6.2
fastavro0.23.5
fasteners0.15
freezegun0.3.15
future0.18.2
gast0.2.2
google-api-core1.22.2
google-apitools0.5.31
google-auth1.21.1
google-auth-oauthlib0.4.1
google-cloud-bigquery1.26.1
google-cloud-bigtable1.0.0
google-cloud-core1.1.0
google-cloud-datastore1.7.4
google-cloud-dlp0.13.0
google-cloud-language1.3.0
google-cloud-pubsub1.0.2
google-cloud-spanner1.13.0
google-cloud-videointelligence1.13.0
google-cloud-vision0.42.0
google-crc32c1.0.0
google-pasta0.2.0
google-resumable-media1.0.0
googleapis-common-protos1.52.0
grpc-google-iam-v10.12.3
grpcio1.30.0
grpcio-gcp0.2.2
guppy33.0.10
h5py2.10.0
hdfs2.5.8
httplib20.17.3
idna2.10
importlib-metadata1.7.0
joblib0.14.1
Keras-Applications1.0.8
Keras-Preprocessing1.1.0
Markdown3.2.2
mock2.0.0
monotonic1.5
more-itertools8.5.0
nltk3.5
nose1.3.7
nose-xunitmp0.4.1
numpy1.18.4
oauth2client3.0.0
oauthlib3.1.0
opt-einsum3.3.0
packaging20.4
pandas0.25.3
pathlib22.3.5
pbr5.5.0
Pillow7.2.0
pip20.2.2
pluggy0.13.1
protobuf3.12.2
protorpc0.12.0
py1.9.0
pyarrow0.17.1
pyasn10.4.8
pyasn1-modules0.2.8
pycparser2.20
pydot1.4.1
pymongo3.10.1
pyparsing2.4.7
pytest4.6.11
python-dateutil2.8.1
python-gflags3.1.2
python-snappy0.5.4
pytz2020.1
PyYAML5.3.1
regex2020.7.14
requests2.24.0
requests-oauthlib1.3.0
rsa4.6
scikit-learn0.22.1
scipy1.4.1
setuptools49.3.1
six1.15.0
soupsieve2.0.1
tensorboard2.1.1
tensorflow2.1.1
tensorflow-estimator2.1.0
termcolor1.1.0
tqdm4.48.2
typing-extensions3.7.4.2
urllib31.25.10
wcwidth0.2.5
Werkzeug1.0.1
wheel0.34.2
wrapt1.12.1
zipp1.2.0

Python 3.6.12

パッケージバージョン
absl-py0.10.0
astor0.8.1
atomicwrites1.4.0
attrs20.1.0
avro-python31.8.2
beautifulsoup44.9.1
bs40.0.1
cachetools3.1.1
certifi2020.6.20
cffi1.14.2
chardet3.0.4
click7.1.2
crcmod1.7
Cython0.29.21
dill0.3.1.1
docopt0.6.2
fastavro0.23.5
fasteners0.15
freezegun0.3.15
future0.18.2
gast0.2.2
google-api-core1.22.2
google-api-python-client1.11.0
google-apitools0.5.31
google-auth1.21.1
google-auth-httplib20.0.4
google-auth-oauthlib0.4.1
google-cloud-bigquery1.26.1
google-cloud-bigtable1.0.0
google-cloud-core1.1.0
google-cloud-datastore1.7.4
google-cloud-dlp0.13.0
google-cloud-language1.3.0
google-cloud-pubsub1.0.2
google-cloud-spanner1.13.0
google-cloud-videointelligence1.13.0
google-cloud-vision0.42.0
google-crc32c1.0.0
google-pasta0.2.0
google-python-cloud-debugger2.15
google-resumable-media1.0.0
googleapis-common-protos1.52.0
grpc-google-iam-v10.12.3
grpcio1.30.0
grpcio-gcp0.2.2
guppy33.0.10
h5py2.10.0
hdfs2.5.8
httplib20.17.3
idna2.10
importlib-metadata1.7.0
joblib0.16.0
Keras-Applications1.0.8
Keras-Preprocessing1.1.0
Markdown3.2.2
mock2.0.0
monotonic1.5
more-itertools8.5.0
nltk3.5
nose1.3.7
nose-xunitmp0.4.1
numpy1.18.4
oauth2client3.0.0
oauthlib3.1.0
opt-einsum3.3.0
packaging20.4
pandas0.25.3
pbr5.5.0
Pillow7.2.0
pip20.2.2
pluggy0.13.1
protobuf3.12.2
protorpc0.12.0
py1.9.0
pyarrow0.17.1
pyasn10.4.8
pyasn1-modules0.2.8
pycparser2.20
pydot1.4.1
pymongo3.10.1
pyparsing2.4.7
pytest4.6.11
python-dateutil2.8.1
python-gflags3.1.2
python-snappy0.5.4
pytz2020.1
PyYAML5.3.1
regex2020.7.14
requests2.24.0
requests-oauthlib1.3.0
rsa4.6
scikit-learn0.22.1
scipy1.4.1
setuptools49.6.0
six1.15.0
soupsieve2.0.1
tensorboard2.1.1
tensorflow2.1.1
tensorflow-estimator2.1.0
termcolor1.1.0
tqdm4.48.2
typing-extensions3.7.4.2
uritemplate3.0.1
urllib31.25.10
wcwidth0.2.5
Werkzeug1.0.1
wheel0.35.1
wrapt1.12.1
zipp3.1.0

Python 3.7.9

パッケージバージョン
absl-py0.10.0
astor0.8.1
atomicwrites1.4.0
attrs20.1.0
avro-python31.8.2
beautifulsoup44.9.1
bs40.0.1
cachetools3.1.1
certifi2020.6.20
cffi1.14.2
chardet3.0.4
click7.1.2
crcmod1.7
Cython0.29.21
dill0.3.1.1
docopt0.6.2
fastavro0.23.5
fasteners0.15
freezegun0.3.15
future0.18.2
gast0.2.2
google-api-core1.22.2
google-api-python-client1.11.0
google-apitools0.5.31
google-auth1.21.1
google-auth-httplib20.0.4
google-auth-oauthlib0.4.1
google-cloud-bigquery1.26.1
google-cloud-bigtable1.0.0
google-cloud-core1.1.0
google-cloud-datastore1.7.4
google-cloud-dlp0.13.0
google-cloud-language1.3.0
google-cloud-pubsub1.0.2
google-cloud-spanner1.13.0
google-cloud-videointelligence1.13.0
google-cloud-vision0.42.0
google-crc32c1.0.0
google-pasta0.2.0
google-python-cloud-debugger2.15
google-resumable-media1.0.0
googleapis-common-protos1.52.0
grpc-google-iam-v10.12.3
grpcio1.30.0
grpcio-gcp0.2.2
guppy33.0.10
h5py2.10.0
hdfs2.5.8
httplib20.17.3
idna2.10
importlib-metadata1.7.0
joblib0.16.0
Keras-Applications1.0.8
Keras-Preprocessing1.1.0
Markdown3.2.2
mock2.0.0
monotonic1.5
more-itertools8.5.0
nltk3.5
nose1.3.7
nose-xunitmp0.4.1
numpy1.18.4
oauth2client3.0.0
oauthlib3.1.0
opt-einsum3.3.0
packaging20.4
pandas0.25.3
pbr5.5.0
Pillow7.2.0
pip20.2.2
pluggy0.13.1
protobuf3.12.2
protorpc0.12.0
py1.9.0
pyarrow0.17.1
pyasn10.4.8
pyasn1-modules0.2.8
pycparser2.20
pydot1.4.1
pymongo3.10.1
pyparsing2.4.7
pytest4.6.11
python-dateutil2.8.1
python-gflags3.1.2
python-snappy0.5.4
pytz2020.1
PyYAML5.3.1
regex2020.7.14
requests2.24.0
requests-oauthlib1.3.0
rsa4.6
scikit-learn0.22.1
scipy1.4.1
setuptools49.6.0
six1.15.0
soupsieve2.0.1
tensorboard2.1.1
tensorflow2.1.1
tensorflow-estimator2.1.0
termcolor1.1.0
tqdm4.48.2
typing-extensions3.7.4.2
uritemplate3.0.1
urllib31.25.10
wcwidth0.2.5
Werkzeug1.0.1
wheel0.35.1
wrapt1.12.1
zipp3.1.0

Python 3.8.5

パッケージバージョン
atomicwrites1.4.0
attrs20.1.0
avro-python31.8.2
beautifulsoup44.9.1
bs40.0.1
cachetools3.1.1
certifi2020.6.20
cffi1.14.2
chardet3.0.4
click7.1.2
crcmod1.7
Cython0.29.21
dill0.3.1.1
docopt0.6.2
fastavro0.23.5
fasteners0.15
freezegun0.3.15
future0.18.2
google-api-core1.22.2
google-api-python-client1.11.0
google-apitools0.5.31
google-auth1.21.1
google-auth-httplib20.0.4
google-cloud-bigquery1.26.1
google-cloud-bigtable1.0.0
google-cloud-core1.1.0
google-cloud-datastore1.7.4
google-cloud-dlp0.13.0
google-cloud-language1.3.0
google-cloud-pubsub1.0.2
google-cloud-spanner1.13.0
google-cloud-videointelligence1.13.0
google-cloud-vision0.42.0
google-crc32c1.0.0
google-python-cloud-debugger2.15
google-resumable-media1.0.0
googleapis-common-protos1.52.0
grpc-google-iam-v10.12.3
grpcio1.30.0
grpcio-gcp0.2.2
guppy33.0.10
hdfs2.5.8
httplib20.17.3
idna2.10
joblib0.16.0
mock2.0.0
monotonic1.5
more-itertools8.5.0
nltk3.5
nose1.3.7
nose-xunitmp0.4.1
numpy1.18.4
oauth2client3.0.0
packaging20.4
pandas0.25.3
pbr5.5.0
Pillow7.2.0
pip20.2.2
pluggy0.13.1
protobuf3.12.2
protorpc0.12.0
py1.9.0
pyarrow0.17.1
pyasn10.4.8
pyasn1-modules0.2.8
pycparser2.20
pydot1.4.1
pymongo3.10.1
pyparsing2.4.7
pytest4.6.11
python-dateutil2.8.1
python-gflags3.1.2
python-snappy0.5.4
pytz2020.1
PyYAML5.3.1
regex2020.7.14
requests2.24.0
rsa4.6
scikit-learn0.22.1
scipy1.4.1
setuptools49.3.1
six1.15.0
soupsieve2.0.1
tqdm4.48.2
typing-extensions3.7.4.2
uritemplate3.0.1
urllib31.25.10
wcwidth0.2.5
wheel0.34.2

Dataflow 2.x SDK

SDK for Java

JAR が競合するバージョンを使用しているかどうかを特定するには、プロジェクトの依存関係ツリーを調べます。依存関係ツリーは、Maven などの各種ツールを使って生成できます。

次の表のライブラリについては、pom.xml で「latest」を指定しないでください。

SDK for Python

Dataflow 1.x SDK

SDK for Java