メイン コンテンツにスキップ
Google Cloud
ドキュメント テクノロジー分野
  • AI と ML
  • アプリケーション開発
  • アプリケーションのホスティング
  • コンピューティング
  • データ分析とパイプライン
  • データベース
  • 分散型クラウド、ハイブリッド クラウド、マルチクラウド
  • 生成 AI
  • 業種別ソリューション
  • ネットワーキング
  • オブザーバビリティとモニタリング
  • セキュリティ
  • Storage
プロダクト横断型のツール
  • アクセスとリソースの管理
  • 費用と使用量の管理
  • Google Cloud SDK、言語、フレームワーク、ツール
  • Infrastructure as code
  • 移行
関連サイト
  • Google Cloud のホーム
  • 無料トライアルと無料枠
  • アーキテクチャ センター
  • ブログ
  • お問い合わせ
  • Google Cloud Developer Center
  • Google Developer Center
  • Google Cloud Marketplace
  • Google Cloud Marketplace のドキュメント
  • Google Cloud Skills Boost
  • Google Cloud Solutions Center
  • Google Cloud サポート
  • YouTube の Google Cloud Tech チャンネル
/
  • English
  • Deutsch
  • Español
  • Español – América Latina
  • Français
  • Indonesia
  • Italiano
  • Português
  • Português – Brasil
  • 中文 – 简体
  • 中文 – 繁體
  • 日本語
  • 한국어
コンソール ログイン
  • Dataproc
ガイド リファレンス サンプル リソース
お問い合わせ 無料で利用開始
Google Cloud
  • ドキュメント
    • ガイド
    • リファレンス
    • サンプル
    • リソース
  • テクノロジー分野
    • その他
  • プロダクト横断型のツール
    • その他
  • 関連サイト
    • その他
  • コンソール
  • お問い合わせ
  • 無料で利用開始
  • Discover
  • サービスの概要
  • 主な概念
  • 内容
    • 概要
    • Delta Lake
    • Docker
    • Flink
    • HBase
    • Hive WebHCat
    • Hudi
    • Iceberg
    • Jupyter
    • Pig
    • Presto
    • Ranger
      • Ranger のインストール
      • Ranger と Kerberos を組み合わせて使用する
      • Ranger をキャッシュとダウンスコーピングで使用する
      • Ranger スキーマをバックアップおよび復元する
    • Solr
    • Trino
    • Zeppelin
    • Zookeeper
  • サービス
  • コンピューティング オプション
    • マシンタイプ
    • GPU
    • 最小 CPU プラットフォーム
    • セカンダリ ワーカー
    • ローカル ソリッド ステート ドライブ
    • ブートディスク
  • バージョニング
    • 概要
    • 3.0.x リリース バージョン
    • 2.3.x リリース バージョン
    • 2.2.x リリース バージョン
    • 2.1.x リリース バージョン
    • 2.0.x リリース バージョン
    • クラスタ イメージのバージョン リスト
  • よくある質問
  • 使ってみる
  • Dataproc で Spark を実行する
    • コンソールを使用する
    • コマンドラインを使用する
    • REST API Explorer を使用する
      • クラスタの作成
      • Spark ジョブを実行する
      • クラスタの更新
      • クラスタの削除
    • クライアント ライブラリを使用する
    • Kubernetes を使用して Spark を実行する
  • 作成
  • プロジェクトを設定する
  • Dataproc テンプレートを使用する
  • Dataproc クラスタの作成
    • クラスタの作成
    • 高可用性クラスタを作成する
    • ノードグループ クラスタを作成する
    • 部分的なクラスタを作成する
    • 単一ノードクラスタを作成する
    • 単一テナント クラスタを作成する
    • クラスタを再作成する
    • カスタム イメージの作成
  • Kubernetes クラスタを作成する
    • 概要
    • リリース バージョン
    • クラスタを再作成する
    • ノードプールを作成する
    • カスタム イメージの作成
  • BigQuery metastore でメタデータを使用して Apache Iceberg テーブルを作成する
  • 開発
  • Apache Hadoop
  • Apache HBase
  • Apache Hive と Kafka
  • Apache Spark
    • 設定
      • Spark の依存関係を管理する
      • Spark 環境をカスタマイズする
      • 同時書き込みを有効にする
      • Spark のパフォーマンスを向上させる
      • Spark を調整する
    • コネクト
      • Spark BigQuery コネクタを使用する
      • Cloud Storage コネクタを使用する
      • Spark Spanner コネクタを使用する
    • 実行
      • HBase を使用する
      • モンテカルロ シミュレーションを使用する
      • Spark ML を使用する
      • Spark Scala を使用する
  • ノートブックを使用する
    • 概要
    • Dataproc クラスタで Jupyter ノートブックを実行する
    • ノートブックでゲノム解析を実行する
    • JupyterLab 拡張機能を使用してサーバーレス Spark ワークロードを開発する
  • Python
    • 環境の構成
    • Cloud クライアント ライブラリを使用する
  • Trino
  • デプロイ
  • ジョブの実行
    • ジョブのライフサイクル
    • ジョブの送信
    • ジョブを再起動する
    • ジョブの履歴を表示する
  • ワークフロー テンプレートを使用する
    • 概要
    • パラメータ化
    • YAML ファイルを使用する
    • クラスタ セレクタを使用する
    • インライン ワークフローを使用する
  • ワークフローをオーケストレートする
    • ワークフロー スケジューリング ソリューション
    • Dataproc ワークフロー テンプレートを使用する
    • Cloud Composer を使用する
    • Cloud Functions の使用
    • Cloud Scheduler を使用する
  • パフォーマンスを調整する
    • Spark のパフォーマンスを最適化する
    • Dataproc 指標
    • 指標アラートを作成する
    • リソースの使用状況をプロファイリングする
  • 管理
  • クラスタを管理する
    • クラスタの起動と停止
      • クラスタを手動で開始および停止する
      • クラスタの停止をスケジュールする
    • クラスタを更新して削除する
    • クラスタをローテーションする
    • クラスタの構成
      • クラスタ プロパティを設定する
      • リージョンを選択
      • ゾーンを自動選択する
      • 初期化アクションを定義する
      • VM タイプの優先順位を付ける
      • クラスタの削除をスケジュールする
    • クラスタをスケールする
      • クラスタをスケールする
      • クラスタの自動スケール
    • データを管理
      • Hadoop データ ストレージ
      • ストレージの種類を選択する
      • クラスタデータをキャッシュに保存する
      • シャッフル データをオフロードする
    • ネットワークを管理する
      • ネットワークの設定
      • Private Service Connect を使用した Dataproc クラスタ ネットワーキング
  • Kubernetes クラスタを管理する
    • クラスタをスケールする
    • クラスタの削除
  • クラスタにアクセスする
    • SSH を使用する
    • ウェブ インターフェースに接続する
    • コンポーネント ゲートウェイを使用する
    • 従業員のアクセス権を設定する
  • メタデータとラベルを管理する
    • Spark データリネージを有効にする
    • Hive データリネージを有効にする
    • メタデータを設定する
    • フィルタリング用のラベルを設定する
    • セキュアタグを使用する
  • Dataproc に接続する
    • Hadoop を移行する
    • BigQuery と接続する
      • BigQuery コネクタ
      • Hive-BigQuery コネクタ
      • コードサンプル
    • Bigtable に接続する
    • Cloud Storage に接続する
    • Pub/Sub Lite に接続する
  • 本番環境のベスト プラクティス
  • セキュリティとコンプライアンス
  • セキュリティに関するベスト プラクティス
  • ユーザーの認証
    • Dataproc に対して認証する
    • 個人用クラスタを認証する
  • ロールと権限を割り当てる
    • Dataproc のロールと権限
    • Dataproc プリンシパル
    • Granular IAM
    • Kubernetes 用のロールを割り当てる
  • サービス アカウントを作成する
  • クラスタの保護
    • Kerberos を使用した安全なマルチテナンシー
    • サービス アカウントを使用した安全なマルチテナンシー
    • メモリを暗号化する
    • データ暗号鍵を管理する
    • Ranger 認可サービスを有効にする
    • Secret Manager 認証情報プロバイダを使用する
    • Hive メタストア クラスタを作成して保護する
  • カスタム制約を作成する
  • Assured Workloads
  • FedRAMP コンプライアンス
  • 支払いを確認する
  • トラブルシューティング
  • 概要
  • ログを分析する
    • Dataproc のログ
    • ジョブ出力ログ
    • 監査ログ
  • クラスタのトラブルシューティング
    • クラスタの診断データを表示する
    • クラスタ作成に関する問題のトラブルシューティング
    • Kubernetes クラスタを診断する
    • Kubernetes ロギングを有効にする
  • ジョブのトラブルシューティング
    • ジョブのトラブルシューティング
    • メモリー エラーのトラブルシューティング
    • ジョブの遅延に関するトラブルシューティング
    • ジョブの履歴を表示する
    • ワークフロー テンプレートのトラブルシューティング
  • AI と ML
  • アプリケーション開発
  • アプリケーションのホスティング
  • コンピューティング
  • データ分析とパイプライン
  • データベース
  • 分散型クラウド、ハイブリッド クラウド、マルチクラウド
  • 生成 AI
  • 業種別ソリューション
  • ネットワーキング
  • オブザーバビリティとモニタリング
  • セキュリティ
  • Storage
  • アクセスとリソースの管理
  • 費用と使用量の管理
  • Google Cloud SDK、言語、フレームワーク、ツール
  • Infrastructure as code
  • 移行
  • Google Cloud のホーム
  • 無料トライアルと無料枠
  • アーキテクチャ センター
  • ブログ
  • お問い合わせ
  • Google Cloud Developer Center
  • Google Developer Center
  • Google Cloud Marketplace
  • Google Cloud Marketplace のドキュメント
  • Google Cloud Skills Boost
  • Google Cloud Solutions Center
  • Google Cloud サポート
  • YouTube の Google Cloud Tech チャンネル
  • Home
  • Documentation
  • Data analytics
  • Dataproc
  • ガイド

Hadoop を移行する

Apache Hadoop ワークフローとデータを Google Cloudと Dataproc に移行するには、次のドキュメントをご覧ください。

  • オンプレミスの Hadoop インフラストラクチャを Google Cloudに移行する
  • オンプレミスから Google Cloudへの HDFS データの移行

特に記載のない限り、このページのコンテンツはクリエイティブ・コモンズの表示 4.0 ライセンスにより使用許諾されます。コードサンプルは Apache 2.0 ライセンスにより使用許諾されます。詳しくは、Google Developers サイトのポリシーをご覧ください。Java は Oracle および関連会社の登録商標です。

最終更新日 2025-10-19 UTC。

  • Google を選ぶ理由

    • Google Cloud を選ぶ理由
    • 信頼とセキュリティ
    • 最新のインフラ クラウド
    • マルチクラウド
    • グローバル インフラストラクチャ
    • お客様と導入事例
    • アナリスト レポート
    • ホワイトペーパー
  • プロダクトと料金

    • すべてのプロダクトを見る
    • すべてのソリューションを見る
    • Google Cloud スタートアップ
    • Google Cloud Marketplace
    • Google Cloud の料金
    • お問い合わせ
  • サポート

    • Community forums
    • サポート
    • リリースノート
    • システム ステータス
  • リソース

    • GitHub
    • Google Cloud の概要
    • Google Cloud のドキュメント
    • コードサンプル
    • Cloud アーキテクチャ センター
    • トレーニングと認定資格
    • Developer Center
  • つながる

    • ブログ
    • イベント
    • X(Twitter)
    • YouTube の Google Cloud チャンネル
    • YouTube の Google Cloud Tech チャンネル
    • パートナーになる
    • Google Cloud Affiliate Program
    • プレスコーナー
  • Google について
  • プライバシー
  • サイトの利用規約
  • Google Cloud 利用規約
  • Manage cookies
  • Google の 30 年の気候変動対策: ご参加ください
  • Google Cloud ニュースレターに登録 購読
  • English
  • Deutsch
  • Español
  • Español – América Latina
  • Français
  • Indonesia
  • Italiano
  • Português
  • Português – Brasil
  • 中文 – 简体
  • 中文 – 繁體
  • 日本語
  • 한국어