Dataproc Hadoop データ ストレージ
コレクションでコンテンツを整理
必要に応じて、コンテンツの保存と分類を行います。
Dataproc は、Apache Hadoop および Hadoop 分散ファイル システム(HDFS)と統合されています。Dataproc クラスタおよびジョブのコンピューティングとデータ ストレージを選択する際は、次の点に注意する必要があります。
- HDFS と Cloud Storage: Dataproc はストレージに Hadoop 分散ファイル システム(HDFS)を使用します。また、HDFS 互換の Cloud Storage コネクタが自動的にインストールされるため、HDFS と並行して Cloud Storage も使用できます。クラスタに対してデータの移動を行うには、HDFS や Cloud Storage へのアップロードとダウンロードを使用します。
- VM ディスク:
- デフォルトでは、ローカル SSD がない場合、HDFS データと中間シャッフル データは永続ディスクの VM ブートディスクに保存されます。
- ローカル SSD を使用する場合、HDFS データと中間シャッフル データは SSD に保存されます。
- データ・ストレージに HDFS と Cloud Storage のどちらを使用していても、永続ディスク(PD)のサイズとタイプにより、パフォーマンスと VM サイズが変わります。
- クラスタが削除されると VM ブートディスクも削除されます。
特に記載のない限り、このページのコンテンツはクリエイティブ・コモンズの表示 4.0 ライセンスにより使用許諾されます。コードサンプルは Apache 2.0 ライセンスにより使用許諾されます。詳しくは、Google Developers サイトのポリシーをご覧ください。Java は Oracle および関連会社の登録商標です。
最終更新日 2024-02-01 UTC。
[{
"type": "thumb-down",
"id": "hardToUnderstand",
"label":"Hard to understand"
},{
"type": "thumb-down",
"id": "incorrectInformationOrSampleCode",
"label":"Incorrect information or sample code"
},{
"type": "thumb-down",
"id": "missingTheInformationSamplesINeed",
"label":"Missing the information/samples I need"
},{
"type": "thumb-down",
"id": "translationIssue",
"label":"翻訳に関する問題"
},{
"type": "thumb-down",
"id": "otherDown",
"label":"その他"
}]
[{
"type": "thumb-up",
"id": "easyToUnderstand",
"label":"わかりやすい"
},{
"type": "thumb-up",
"id": "solvedMyProblem",
"label":"問題の解決に役立った"
},{
"type": "thumb-up",
"id": "otherUp",
"label":"その他"
}]