데이터 이전

Transfer Appliance에서는 어플라이언스에 데이터를 복사하기 위한 다음 방법이 지원됩니다.

• Microsoft Windows, Linux, macOS를 위한 SCP 또는 SFTP
• Linux 및 macOS를 위한 NFS 공유
• Microsoft Windows 및 Linux를 위한 SMB 공유
• NFS 및 CIFS를 위한 어플라이언스 마운트

Transfer Appliance에 데이터를 복사한 후 소스 데이터를 삭제하기 전에 Cloud Storage 버킷에 대한 데이터 전송이 완료되었는지 확인합니다.

파일 크기 및 이름 지정 요구사항

어플라이언스에 업로드되는 파일은 Cloud Storage 파일 크기 한도 및 이름 지정 가이드라인을 준수해야 합니다.

• 파일 크기 한도는 Cloud Storage 할당량 및 한도 페이지에 설명되어 있습니다.
• 파일 이름 가이드라인은 객체 이름 지정 가이드라인 페이지에 설명되어 있습니다.

Transfer Appliance는 파일 크기 또는 이름을 검증하지 않습니다. 어플라이언스를 Google에 다시 배송할 때 어플라이언스에 이러한 규칙을 준수하지 않는 파일이 포함된 경우에는 Google이 해당 파일을 전송하지 못할 수 있습니다.

SCP 또는 SFTP를 사용하여 데이터 복사

SCP 또는 SFTP를 사용하여 어플라이언스에 데이터를 복사하려면 다음 단계를 수행합니다.

Microsoft Windows

1. WinSCP와 같이 UTF-8 파일 이름을 지원하는 SCP 또는 SFTP 클라이언트를 다운로드합니다.

2. SCP 도구를 사용하고 다음 설정을 사용하여 어플라이언스에 연결합니다.

   • 파일 프로토콜: SFTP
   • 호스트 이름: 어플라이언스의 IP 주소입니다.
   • 포트 번호: 22
   • 사용자 이름: Transfer Appliance팀에서 제공한 어플라이언스 사용자 이름입니다.
   • 비밀번호: Transfer Appliance팀에서 제공한 어플라이언스 비밀번호입니다.

   Transfer Appliance의 대상 디렉터리는 /mnt/ta_data여야 합니다.

Linux

1. 다음 명령어를 실행합니다.

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   다음을 바꿉니다.

   • PATH_TO_FILES: 복사할 파일의 경로입니다.
   • USERNAME: Transfer Appliance팀에서 제공한 어플라이언스 사용자 이름입니다.
   • IP_ADDRESS: 어플라이언스의 IP 주소입니다.

2. 메시지가 표시되면 Transfer Appliance팀에서 제공한 어플라이언스 비밀번호를 입력합니다.

Apple macOS

1. 다음 명령어를 실행합니다.

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   다음을 바꿉니다.

   • PATH_TO_FILES: 복사할 파일의 경로입니다.
   • USERNAME: Transfer Appliance팀에서 제공한 어플라이언스 사용자 이름입니다.
   • IP_ADDRESS: 어플라이언스의 IP 주소입니다.

2. 메시지가 표시되면 Transfer Appliance팀에서 제공한 어플라이언스 비밀번호를 입력합니다.

NFS 공유를 사용하여 데이터 복사

NFS 공유를 사용해서 어플라이언스에 데이터를 복사하려면 다음 단계를 수행합니다.

1. Transfer Appliance를 마운트하기 위해 데이터 소스에서 다음 명령어를 실행합니다.

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      IP_ADDRESS를 어플라이언스의 IP 주소로 바꿉니다.

   Apple macOS

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      IP_ADDRESS를 어플라이언스의 IP 주소로 바꿉니다.

2. 어플라이언스에 데이터를 복사하려면 원하는 복사 유틸리티를 사용합니다.

   데이터 복사는 장기 실행 작업입니다. Apple macOS 또는 Linux에서는 tmux 또는 screen을 사용하여 로그아웃되거나 네트워크 연결이 끊어져도 복사 프로세스가 유지되도록 하는 것이 좋습니다.

SSH 키 저장

빠른 로그인을 위해 SSH 키를 Transfer Appliance에 저장합니다. SSH 키를 저장하면 전송 속도가 향상될 수 있습니다.

1. 워크스테이션에서 다음 명령어를 사용하여 키 쌍을 생성합니다.

   posix-terminal
   ssh-keygen -t rsa
   

2. 어플라이언스에서 /tmp/ssh_key 파일을 만듭니다.

3. 공개 키 파일의 콘텐츠를 워크스테이션에서 어플라이언스의 /tmp/ssh_key에 복사합니다. 공개 키 파일은 워크스테이션에서 다음 위치에 있습니다.

   • Linux: ~/.ssh/id_rsa.pub
   • Windows: C:Users/USERNAME/.ssh

   여러 키를 승인하려면 /tmp/ssh_key에서 새 줄에 각 키를 추가합니다.

4. 어플라이언스에서 다음 명령어를 실행합니다. 기존 키가 있으면 덮어씁니다.

   ta copy_ssh_keys
   

5. 어플라이언스에 로그인합니다.

   • 비공개 키가 워크스테이션의 기본 위치에 있으면 다음 명령어를 사용하여 어플라이언스에 로그인합니다.

     ssh ta_customer@IP_ADDRESS
     

   • 비공개 키가 기본 위치에 없으면 다음 명령어를 사용하여 어플라이언스에 로그인합니다.

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

SMB를 사용하여 데이터 전송

SMB 파일 공유를 사용 설정하기 위해 아래 단계를 수행합니다.

1. 다음 파일 공유 프로토콜 플래그를 사용해서 SMB를 사용하도록 어플라이언스를 구성합니다.

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   ta_data 디렉터리가 공유되고 다음 사용자가 생성됩니다.

   • 사용자 이름: ta_customer
   • 비밀번호: ta_customer

2. 호스트 유형에 따라 SMB 파일 공유에 연결합니다.

   Microsoft Windows

   파일 관리자

   1. 파일 관리자를 열고 파일 경로를 \\IP_ADDRESS\ta_data로 수정합니다.

   2. 메시지가 표시되면 사용자 이름과 비밀번호를 입력합니다.

   명령줄

   1. Windows 명령 프롬프트에서 net use X: \\IP_ADDRESS\ta_data를 입력합니다.

   2. 메시지가 표시되면 사용자 이름과 비밀번호를 입력합니다.

   Linux

   파일 관리자

   1. 기본 파일 관리자를 열고 서버에 연결을 클릭합니다.

   2. smb://IP_ADDRESS/ta_data를 입력합니다.

   3. 메시지가 표시되면 사용자 이름과 비밀번호를 입력합니다.

   명령줄

   1. SMB 클라이언트 설치: sudo apt-get install smbclient.

   2. SMB 파일 공유에 연결: smbclient //IP_ADDRESS/ta_data -U USERNAME

      smb:\> 프롬프트가 표시됩니다.

어플라이언스에서 자체 파일 공유 사용

어플라이언스는 래핑된 Linux 마운트 명령어를 사용해서 어플라이언스에 공유를 마운트합니다.

1. 다음 명령어를 실행합니다.

   NFS

   1. NFS 서버를 호스팅하는 기기에서 /etc/exports 파일을 업데이트하여 서버에 IP_ADDRESS 액세스 권한을 부여합니다.

   2. 어플라이언스에서 다음 명령어를 실행합니다.

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      다음을 바꿉니다.

      • IP_ADDRESS: 어플라이언스의 IP 주소입니다.
      • MOUNT_POINT: 이 공유에 대한 마운트 지점의 이름입니다.
      • NFS_SERVER_IP: NFS 서버를 호스팅하는 기기의 IP 주소입니다.
      • NFS_DIRECTORY: NFS 공유의 경로입니다.
      • OPTIONS: 쉼표로 구분된 옵션 목록입니다. 이러한 옵션은 Linux 마운트 명령어에서 허용됩니다.

   CIFS

   1. 어플라이언스에서 다음 명령어를 실행합니다.

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      다음을 바꿉니다.

      • MOUNT_POINT: 이 공유에 대한 마운트 지점의 이름입니다.
      • CIFS_SERVER_IP: CIFS 서버를 호스팅하는 기기의 IP 주소입니다.
      • CIFS_NAME: CIFS 공유 이름입니다.
      • OPTIONS: CIFS 공유의 비밀번호와 사용자 이름을 포함하여 쉼표로 구분된 옵션 목록입니다. 이러한 옵션은 Linux 마운트 명령어에서 허용됩니다.

   마운트 옵션에 특별히 지정되지 않은 한 'ta unmount' 명령어를 사용해서 삭제할 때까지 재부팅 시에 마운트 지점이 다시 마운트됩니다.

2. 어플라이언스에서 마운트를 마운트 해제하려면 다음을 실행합니다.

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. 어플라이언스에 데이터를 복사하려면 원하는 복사 유틸리티를 사용합니다.

   RClone

   1. 어플라이언스에서 RClone으로 복사 명령어를 실행하려면 다음을 실행합니다.

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      다음을 바꿉니다.

      • MOUNT_POINT: 전송할 데이터가 포함된 디렉터리입니다.

   보관 파일 가져오기

   1. 전송 중에 데이터를 tar 파일로 보관처리하려면 다음을 실행합니다.

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      다음을 바꿉니다.

      • MOUNT_POINT: 전송할 데이터가 포함된 디렉터리입니다.
      • ARCHIVE_SIZE_BYTES: 대상에 생성될 tar 볼의 대상 크기입니다. 기본값은 1GB이며 5MB 이상 20GB 이하여야 합니다.
      • THREAD_COUNT: 동시에 보관 파일을 만들기를 실행하는 스레드 수입니다. 기본값은 20이며 1 이상 10,000 이하여야 합니다.

      보관 파일 가져오기는 백그라운드에서 실행되므로 터미널을 안전하게 종료할 수 있습니다. 가져오기는 전송을 시작하기 전에 데이터를 나열하는 단계로 시작합니다.

   2. 가져오기를 시작하면 ID가 반환되며, 이 값을 사용하여 가져오기와 상호작용할 수 있습니다.

      가져오기 상태를 확인하려면 다음을 실행합니다.

      ta pull --id=ID --status

      가져오기를 일시중지하려면 다음을 실행합니다.

      ta pull --id=ID --pause

      일시중지되거나 중단된 가져오기를 재개하려면 다음을 실행합니다.

      ta pull --id=ID --resume

      다음을 바꿉니다.

      • ID: 가져오기 ID입니다.

   3. 가져오기가 완료되면 /mnt/ta_data/TA_ARCHIVE_ID/ 디렉터리에 tar 볼이 저장됩니다. 매니페스트 파일이 생성되어 /mnt/ta_data/manifest_ID.tsv에 저장됩니다. 이 파일에는 전송된 파일에 대한 정보가 포함되어 있으며 어떤 tar 볼 파일에 어떤 파일이 포함되어 있는지 자세히 기술되어 있습니다. 또한 오류 매니페스트 파일은 /mnt/ta_data/manifest_ID_ERROR.tsv에 저장되며 가져오기 중에 발생한 오류가 자세히 기술되어 있습니다.

   가져오기 명령어는 한 번에 하나씩 실행하시기 바랍니다.

   참고: 가져오기는 하위 디렉터리가 50,000개가 넘는 디렉터리가 있는 데이터 세트를 처리하도록 설계되지 않았습니다. 연장된 대기 시간을 줄이려면 다른 복사 방법을 사용하는 것이 좋습니다.

   속도 테스트는 TA7에서 100GB의 데이터 세트 크기에 대해 수행되었습니다. 아래 값을 참고해 제공되는 두 가지 복사 유틸리티 중 적절한 유틸리티를 결정하시기 바랍니다. 전송 속도는 어플라이언스 유형과 네트워크 연결의 영향을 받을 수 있습니다.

   메서드	파일 크기	보관 크기 바이트(보관 파일 가져오기에만 해당)	속도(NFS)	속도(SMB)
   RClone	100MB	해당 사항 없음	600MB/s	620MB/초
   보관 파일 가져오기	100MB	10GB	750MB/초	850MB/초
   RClone	1MB	해당 사항 없음	280MB/초	270MB/초
   보관 파일 가져오기	1MB	500MB	630MB/초	380MB/초
   RClone	100KB	해당 사항 없음	150MB/초	150MB/초
   보관 파일 가져오기	100KB	5MB	270MB/초	90MB/s