Transfer Appliance は、アプライアンスにデータをコピーするための次の方法をサポートしています。
- SCP または SFTP(Microsoft Windows、Linux、macOS の場合)。
- NFS 共有(Linux と macOS の場合)。
- SMB 共有(Windows と Linux の場合)。
- アプライアンスにマウントする(NFS と CIFS の場合)。
Transfer Appliance にデータをコピーしたら、Cloud Storage バケットへのデータ転送が完了したことを確認してから、ソースデータを削除します。
ファイルサイズと命名の要件
アプライアンスにアップロードするファイルは、Cloud Storage のファイルサイズの上限と命名ガイドラインに準拠している必要があります。
- ファイルサイズの上限については、Cloud Storage の割り当てと上限ページをご覧ください。
- ファイル名のガイドラインについては、オブジェクトの命名ガイドラインのページをご覧ください。
Transfer Appliance では、ファイルサイズや名前は検証されません。アプライアンスが Google に返送される際に、アプライアンスにこれらのルールに準拠していないファイルが含まれている場合、Google はこれらのファイルを転送できないことがあります。
SCP または SFTP を使用してデータをコピーする
SCP または SFTP を使用してアプライアンスにデータをコピーする手順は次のとおりです。
Microsoft Windows
UTF-8 ファイル名をサポートする SCP または SFTP クライアント(WinSCP など)をダウンロードします。
SCP ツールを使用して、次の設定でアプライアンスに接続します。
- ファイル プロトコル: SFTP
- ホスト名: アプライアンスの IP アドレス。
- ポート番号: 22
- ユーザー名: Transfer Appliance チームから提供されたアプライアンスのユーザー名。
- パスワード: Transfer Appliance チームから提供されたアプライアンスのパスワード。
Transfer Appliance の宛先ディレクトリは
/mnt/ta_data
にする必要があります。
Linux
次のコマンドを実行します。
scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
次のように置き換えます。
PATH_TO_FILES
: コピーするファイルのパス。USERNAME
: Transfer Appliance チームから提供されたアプライアンスのユーザー名。IP_ADDRESS
: アプライアンスの IP アドレス。
プロンプトが表示されたら、Transfer Appliance チームから提供されたアプライアンスのパスワードを入力します。
Apple macOS
次のコマンドを実行します。
scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
次のように置き換えます。
PATH_TO_FILES
: コピーするファイルのパス。USERNAME
: Transfer Appliance チームから提供されたアプライアンスのユーザー名。IP_ADDRESS
: アプライアンスの IP アドレス。
プロンプトが表示されたら、Transfer Appliance チームから提供されたアプライアンスのパスワードを入力します。
NFS 共有を使用してデータをコピーする
NFS 共有を使用してアプライアンスにデータをコピーする手順は次のとおりです。
Transfer Appliance をマウントするには、データソースで次のコマンドを実行します。
Linux
sudo mkdir /mnt/data
sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
IP_ADDRESS
は、アプライアンスの IP アドレスに置き換えます。
Apple macOS
cd ~
mkdir ta_data
sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
IP_ADDRESS
は、アプライアンスの IP アドレスに置き換えます。
アプライアンスにデータをコピーするには、任意のコピー ユーティリティを使用します。
データのコピーは長時間実行オペレーションです。Apple macOS または Linux では、
tmux
またはscreen
を使用して、ログアウトやネットワークの切断後もコピープロセスが続行するようにすることをおすすめします。
SSH 認証鍵を保存する
SSH 認証鍵を保存すると、Transfer Appliance にすばやくログインできます。SSH 認証鍵を保存すると、転送速度も向上する可能性があります。
ワークステーションで、次のコマンドを使用して鍵ペアを生成します。
posix-terminal ssh-keygen -t rsa
アプライアンスで
/tmp/ssh_key
ファイルを作成します。ワークステーションからアプライアンスの
/tmp/ssh_key
に公開鍵ファイルのコンテンツをコピーします。公開鍵ファイルは、ワークステーションの次の場所にあります。- Linux:
~/.ssh/id_rsa.pub
- Windows:
C:Users/
USERNAME
/.ssh
複数の鍵を承認するには、
/tmp/ssh_key
の新しい行に各鍵を追加します。- Linux:
アプライアンスで次のコマンドを実行します。既存の鍵は上書きされます。
ta copy_ssh_keys
アプライアンスにログインします。
秘密鍵がワークステーションのデフォルトの場所にある場合は、次のコマンドを使用してアプライアンスにログインします。
ssh ta_customer@IP_ADDRESS
秘密鍵がデフォルトの場所にない場合は、次のコマンドを使用してアプライアンスにログインします。
ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
SMB を使用してデータを転送する
SMB ファイル共有を有効にする手順は次のとおりです。
次のファイル共有プロトコル フラグを使用して、SMB を使用するようにアプライアンスを構成します。
ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
ta_data
ディレクトリが共有され、次のユーザーが作成されます。- ユーザー名:
ta_customer
- パスワード:
ta_customer
- ユーザー名:
ホストタイプに応じて、SMB ファイル共有に接続します。
Microsoft Windows
ファイル マネージャー
ファイル マネージャーを開き、ファイルパスを
\\IP_ADDRESS\ta_data
に編集します。プロンプトが表示されたら、ユーザー名とパスワードを入力します。
コマンドライン
Windows コマンド プロンプトで
net use X: \\IP_ADDRESS\ta_data
と入力します。プロンプトが表示されたら、ユーザー名とパスワードを入力します。
Linux
ファイル マネージャー
デフォルトのファイル マネージャーを開き、[サーバーに接続] をクリックします。
「
smb://IP_ADDRESS/ta_data
」と入力します。プロンプトが表示されたら、ユーザー名とパスワードを入力します。
コマンドライン
SMB クライアント
sudo apt-get install smbclient
をインストールします。SMB ファイル共有に接続する:
smbclient //IP_ADDRESS/ta_data -U USERNAME
smb:\>
プロンプトが表示されます。
アプライアンスで独自のファイル共有を使用する
アプライアンスは、ラップされた Linux mount コマンドを使用して、アプライアンスに共有をマウントします。
次のコマンドを実行します。
NFS
NFS サーバーをホストしているデバイス上の /etc/exports ファイルを更新して、IP_ADDRESS のサーバーへのアクセスを許可します。
アプライアンスで次のコマンドを実行します。
mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --options=OPTIONS
次のように置き換えます。
IP_ADDRESS
: アプライアンスの IP アドレス。MOUNT_POINT
: この共有のマウント ポイントの名前。NFS_SERVER_IP
: NFS サーバーをホストするデバイスの IP アドレスNFS_DIRECTORY
: NFS 共有へのパス。OPTIONS
: オプションのカンマ区切りのリスト。これらのオプションは、Linux の mount コマンドで許可されているオプションです。
CIFS
アプライアンスで次のコマンドを実行します。
mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --options=OPTIONS
次のように置き換えます。
MOUNT_POINT
: この共有のマウント ポイントの名前。CIFS_SERVER_IP
: CIFS サーバーをホストするデバイスの IP アドレス。CIFS_NAME
: CIFS 共有名。OPTIONS
: CIFS 共有のパスワードとユーザー名など、オプションのカンマ区切りのリスト。これらのオプションは、Linux の mount コマンドで許可されているオプションです。
マウント オプションで指定されていない限り、「ta unmount」コマンドでマウント ポイントを削除するまで、再起動時にマウント ポイントが再マウントされます。
アプライアンスのマウントを解除するには、次のコマンドを実行します。
ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
アプライアンスにデータをコピーするには、任意のコピー ユーティリティを使用します。
RClone
アプライアンスで RClone を使用してコピー コマンドを実行するには、次のコマンドを実行します。
rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data
次のように置き換えます。
MOUNT_POINT
: 転送するデータを含むディレクトリ。
アーカイブの pull
転送中にデータを tar ファイルにアーカイブするには、次のコマンドを実行します。
ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES --destination=/mnt/ta_data --count=THREAD_COUNT
次のように置き換えます。
MOUNT_POINT
: 転送するデータを含むディレクトリ。ARCHIVE_SIZE_BYTES
: 宛先で生成される tar ball のターゲット サイズ。デフォルトは 1 GB で、5 MB ~ 20 GB の範囲で想定されます。THREAD_COUNT
: 同時に実行され、アーカイブを作成するスレッドの数。デフォルトは 20 で、1~10000 にする必要があります。
アーカイブの pull はバックグラウンドで実行されるため、ターミナルを安全に終了できます。pull は、転送を開始する前に、データを一覧表示するフェーズから始まります。
pull を開始すると ID が返されます。この値を使用して、pull を操作できます。
pull のステータスを確認するには、次のコマンドを実行します。
ta pull --id=ID --status
pull を一時停止するには、次のコマンドを実行します。
ta pull --id=ID --pause
一時停止または中断した pull を再開するには、次のコマンドを実行します。
ta pull --id=ID --resume
次のように置き換えます。
ID
: pull ID。
pull が完了すると、tarball が
/mnt/ta_data/TA_ARCHIVE_ID/
ディレクトリに見つかります。マニフェスト ファイルが生成され、/mnt/ta_data/manifest_ID.tsv
に保存されます。このファイルには、転送されたファイルの情報が含まれます。どの tar ball ファイルにどのファイルが含まれているかが詳細に記載されています。同様に、エラー マニフェスト ファイルも/mnt/ta_data/manifest_ID_ERROR.tsv
に保存され、pull 中に発生したエラーの詳細が示されます。
一度に実行する pull コマンドは 1 つにすることをおすすめします。
速度テストは、TA7 で 100 GB のデータセットサイズで実施されました。これらの値は共有されて、提供される 2 つのコピー ユーティリティから決定する際に役立ちます。転送速度は、アプライアンスのタイプとネットワーク接続によって影響を受ける場合があります。
メソッド ファイルサイズ アーカイブ サイズのバイト数(アーカイブ pull のみ) レート(NFS) レート(SMB) RClone 100 MB なし 600 MB/秒 620 MB/s アーカイブの pull 100 MB 10 GB 750 MB/s 850 MB/s RClone 1 MB なし 280 MB/s 270 MB/s アーカイブの pull 1 MB 500 MB 630 MB/s 380 MB/s RClone 100 KB なし 150 MB/s 150 MB/s アーカイブの pull 100 KB 5 MB 270 MB/s 90 MB/秒