Transfer Service for On Premises Data 개요

이 페이지에서는 Transfer Service for On Premises Data, 요구사항, 기능을 설명합니다.

Transfer Service for On Premises Data 정보

Transfer Service for On Premises Data는 데이터 센터에서 Cloud Storage 버킷으로 많은 데이터 양을 전송할 수 있는 소프트웨어 서비스입니다. 한 번의 전송으로 파일 수십억 개와 데이터 수백 TB 이상을 이전하는 고객에게 적합합니다. 수십 Gbps의 네트워크 연결로 확장할 수 있습니다.

Transfer Service for On Premises Data의 이점

Transfer Service for On Premises Data를 사용하면 커스텀 스크립트를 작성하거나 상용 솔루션을 구매하지 않고도 많은 데이터 양을 전송할 수 있습니다. 커스텀 스크립트는 다음과 같습니다.

  • 신뢰할 수 없음
  • 느림
  • 안전하지 않음
  • 유지 및 문제 해결이 어려움

기존 솔루션은 배포 비용이 높을 수 있습니다.

Transfer Service for On Premises Data는 엔지니어링팀에 투자하거나 전송 솔루션을 구매하지 않고도 데이터를 이동할 수 있는 확장 가능하고 안정적인 관리형 서비스입니다. 데이터 센터의 컴퓨터에 Linux용 온프레미스 에이전트가 포함된 Docker 컨테이너를 설치하면 Transfer Service for On Premises Data가 데이터를 안전하게 Cloud Storage로 전송하도록 에이전트를 조정합니다.

제한된 대역폭과 함께 Transfer Service for On Premises Data 사용

대역폭이 제한되어 있는 경우에도 Transfer Service for On Premises Data를 사용할 수 있습니다. Google Cloud 프로젝트에 대역폭 제한을 설정하면 온프레미스 에이전트가 Google Cloud로 데이터를 복사하는 속도가 제한됩니다. 대역폭 한도는 Google Cloud 프로젝트 내 모든 전송 작업 및 이와 연결된 온프레미스 에이전트에 공유됩니다.

Transfer Service for On Premises Data 작동 방식

다음은 Transfer Service for On Premises Data 작동 방식에 대한 대략적인 개요입니다.

  1. Docker를 설치하고 비공개 데이터 센터에 에이전트라고 하는 작은 소프트웨어를 실행합니다. 에이전트는 Docker 컨테이너에서 실행되며 로컬에서 마운트된 NFS 데이터에 액세스할 수 있습니다.

    자세한 내용은 온프레미스 에이전트 설치 및 실행을 참조하세요.

  2. 온프레미스용 전송 최초 설정을 완료합니다. 여기에는 Pub/Sub 및 Cloud Storage와 같은 Storage Transfer Service에서 사용되는 리소스에 대해 액세스 권한을 부여하는 작업이 포함됩니다.

  3. Google Cloud Console에서 Transfer Service for On Premises Data 전송을 시작합니다. NFS 디렉터리와 데이터를 전송할 대상 Cloud Storage 버킷을 제공합니다.

    자세한 내용은 전송 작업 만들기를 참조하세요.

  4. 전송이 시작되면 지정된 NFS 디렉터리를 통해 재귀적으로 순회하여 찾은 데이터를 Cloud Storage 버킷으로 이동합니다.

    전송된 데이터는 체크섬 처리되고, 오류가 있는 파일은 다시 시도되고, 데이터는 보안 연결을 통해 전송됩니다. 전송 진행률 레코드가 작성되어 대상 Cloud Storage 버킷 내 객체를 로깅합니다. Google Cloud Console에서 전송 진행 상황을 추적할 수 있습니다.

  5. 전송이 완료되면 Google Cloud Console에서 오류 샘플을 볼 수 있습니다. 전송 로그에서 전송된 파일과 오류의 카탈로그를 검토할 수도 있습니다.

Transfer Service for On Premises Data 에이전트의 작동 방식

다음은 Transfer Service for On Premises Data 에이전트 프로세스를 설명합니다.

  • 에이전트 프로세스는 동적입니다. 전송을 실행하는 동안 에이전트를 추가하여 성능을 향상할 수 있습니다. 새로 시작된 에이전트는 에이전트 풀에 참여하여 기존 전송에서 작업을 수행합니다. 이를 통해 실행 중인 에이전트 수를 조정하거나 전송 성능에 맞춰 전송 수요를 변경할 수 있습니다.

  • 에이전트 프로세스는 내결함성 집단입니다. 한 에이전트의 실행이 중지되면 나머지 에이전트는 계속 작동합니다. 모든 에이전트가 중지되면 에이전트를 다시 시작할 때 에이전트가 중지된 곳에서 전송이 다시 시작됩니다. 이렇게 하면 에이전트 모니터링, 전송 재시도, 복구 로직 구현을 피할 수 있습니다. Google Kubernetes Engine과 에이전트를 조정하여 전송 다운타임 없이 에이전트 풀을 패치, 이전, 동적 확장할 수 있습니다.

    예를 들어 두 에이전트가 실행되는 동안 두 개의 전송을 제출합니다. 머신 재부팅 또는 운영체제 패치로 인해 에이전트 중 하나가 중지되면 나머지 에이전트는 계속 작동합니다. 두 전송은 계속 실행 중이지만 단일 에이전트에서 데이터를 이동하므로 속도가 느립니다. 나머지 에이전트도 중지될 경우 실행 중인 에이전트가 없으므로 모든 전송이 중지됩니다. 에이전트 프로세스를 다시 시작하면 중단된 지점부터 전송이 다시 시작됩니다.

  • 에이전트 프로세스는 풀입니다. 전체적으로 데이터를 병렬로 이동합니다. 따라서 모든 에이전트는 전송하려는 모든 데이터 소스에 대해 동일한 액세스 권한을 가지고 있어야 합니다.

    예를 들어 특정 파일 시스템에서 데이터를 전송하려면 에이전트를 설치한 모든 머신에 파일 시스템을 마운트해야 합니다. 일부 에이전트가 데이터 소스에 도달할 수 있지만 다른 에이전트는 연결할 수 없는 경우 해당 데이터 소스에서 전송할 수 없습니다.

Transfer Service for On Premises Data 요구사항

온프레미스용 전송을 사용하려면 다음이 필요합니다.

  • POSIX 규격 소스

  • 300Mbps 이상의 네트워크 연결

  • 전송하려는 데이터에 액세스할 수 있는 Docker 지원 64비트 Linux 서버 또는 가상 머신

    CentOS, Debian, Fedora, Ubuntu 운영체제를 지원하는 Docker Community Edition

    다른 Linux 운영체제를 사용하려면 Docker Enterprise를 참조하세요.

  • 온프레미스용 전송 최초 설정을 완료합니다.

전송을 시작하기 전에 다음을 확인하세요.

  • TCP 포트 80(HTTP) 및 443(HTTPS)은 아웃바운드 연결을 위해 열려 있습니다.
  • 단일 Google Cloud 프로젝트 내 모든 에이전트 프로세스에는 동일한 마운트 지점에 동일한 파일 시스템이 마운트되어 있습니다.

다음 단계

최초 설정을 완료하여 전송을 시작하세요.