Cloud Storage コネクタは、オープンソースの Java ライブラリです。これにより、Cloud Storage 内のデータに対して Apache Hadoop や Apache Spark のジョブを直接実行できます。Hadoop 分散ファイル システム(HDFS)を選択する場合と比べ、Cloud Storage コネクタは多くのメリットをもたらします。
Cloud Storage コネクタのメリット
- データへの直接アクセス - データを Cloud Storage に保存し、直接アクセスします。最初にデータを HDFS に転送する必要はありません。
- HDFS との互換性 -
hdfs://
接頭辞の代わりにgs://
を使用して、Cloud Storage 内のデータに簡単にアクセスできます。 - 相互運用性 - Cloud Storage にデータを保存することにより、Spark、Hadoop、Google サービス間でシームレスな相互運用性を実現できます。
- データ アクセシビリティ - HDFS と異なり、Hadoop クラスタをシャットダウンしても、Cloud Storage 内のデータに引き続きアクセスできます。
- データの高可用性 - Cloud Storage に保存されているデータの可用性は高く、グローバルに複製してもパフォーマンスが低下しません。
- ストレージ管理のオーバーヘッドが不要 - HDFS と異なり、Cloud Storage はファイル システムのチェック、ファイル システムのアップグレードや旧バージョンへのロールバックなどの定期的なメンテナンスを必要としません。
- クイック起動 - HDFS では、
NameNode
がセーフモードでなくなるまで MapReduce ジョブを起動できません。この処理は、データのサイズや状態に応じて、数秒で終わるときもあれば、何分もかかるときもあります。Cloud Storage を使用することで、タスクノードの開始と同時にジョブを開始することができ、長期的にも大幅なコスト節減につながります。
コネクタの取得
Dataproc クラスタ
Cloud Storage コネクタは、デフォルトで /usr/lib/hadoop/lib/
にあるすべての Dataproc クラスタノードにインストールされます(イメージ バージョン 1.4 以降でのインストール先は /usr/local/share/google/dataproc/lib/
です)。Spark と PySpark の両方の環境で利用できます。
その他の Spark クラスタと Hadoop クラスタ
Hadoop 用の Cloud Storage コネクタをダウンロードするには:
- Cloud Storage バケットから最新バージョンをダウンロード
gcs-connector-HADOOP_VERSION-CONNECTOR_VERSION.jar
のパターンで、Hadoop と Cloud Storage のコネクタ バージョンを置き換えた特定のバージョンを Cloud Storage バケットからダウンロードgs://hadoop-lib/gcs/gcs-connector-hadoop2-2.1.1.jar
- Apache Maven リポジトリから特定のバージョンをダウンロード(シェーディングされ名前に
-shaded
接尾辞が付いた jar をダウンロードします)
コネクタをインストールして構成するには、Cloud Storage コネクタのインストールをご覧ください。
コネクタの使用
Cloud Storage に保存されているデータには、次に示す複数の方法でアクセスできます。
- Spark(または PySpark)や Hadoop アプリケーションで
gs://
接頭辞を使用する。 - Hadoop シェルで
hadoop fs -ls gs://bucket/dir/file
を実行する。 - Cloud Console Cloud Storage ブラウザ。
gsutil cp
コマンドまたはgsutil rsync
コマンドを使用する。
リソース
Java のバージョン
Cloud Storage コネクタには Java 8 が必要です。
Apache Maven 依存関係についての情報
<dependency> <groupId>com.google.cloud.bigdataoss</groupId> <artifactId>gcs-connector</artifactId> <version>insert "hadoopX-X.X.X" connector version number here</version> <scope>provided</scope> </dependency>
詳しくは、Cloud Storage コネクタのリリースノートと Javadoc リファレンスをご覧ください。
次のステップ
- Cloud Storage に関する詳細を見る