온프레미스 전송 작업 세부정보

이 문서에서는 Transfer Service for On Premises Data가 어떻게 작동하는지 자세히 설명합니다. 특히 증분 전송 및 데이터 일관성, 의미, 작동 방식을 설명합니다.

증분 전송 시작

Transfer Service for On Premises Data는 소스 및 대상에 있는 데이터를 연산하여 모든 전송을 시작하여 마지막 전송 이후 새로운 소스 파일, 업데이트 또는 삭제된 소스 파일을 확인합니다. 이를 통해 머신에서 전송하는 데이터의 양을 줄이고, 대역폭을 효율적으로 사용하며, 전송 시간을 단축시킵니다.

파일이 변경되었는지 감지하기 위해 gsutil rsync와 유사한 알고리즘을 사용합니다. 소스 파일의 최종 수정 시간과 크기를 확인하고 파일을 마지막으로 복사한 시점의 최종 수정 시간과 크기를 비교합니다. 새 파일이나 변경된 파일이 감지되면 전체 파일이 대상에 복사됩니다. 파일 최신 상태에 대한 자세한 내용은 데이터 일관성 세부정보를 참조하세요.

기본적으로 Google은 소스에서 삭제된 파일을 감지하지만 조치를 취하지 않습니다. 만들기 또는 수정소스에도 없는 대상 파일 삭제 동기화 옵션을 선택하면 전송 시 대상에서 해당 객체가 삭제됩니다.

소스에도 없는 대상 파일 삭제 동기화 옵션을 선택하면 소스에서 실수로 삭제된 파일도 대상에서 삭제됩니다. 이 옵션을 사용할 경우 실수로 인한 데이터 삭제를 방지하려면 대상 버킷에서 객체 버전 관리를 사용 설정하는 것이 좋습니다. 그러면 실수로 인해 파일이 삭제되어도 Cloud Storage의 객체를 이전 버전으로 복원할 수 있습니다.

데이터 일관성 세부정보

성공적인 전송 작업은 작업의 전체 실행 시간 동안 존재하고 수정되지 않은 모든 소스 파일을 전송합니다. 전송 중에 생성, 업데이트 또는 삭제된 소스 파일의 경우 대상 데이터 세트에 변경사항이 반영 또는 반영되지 않을 수 있습니다.

온프레미스용 전송은 파일의 마지막 수정 시간과 크기를 사용하여 변경사항이 있는지 확인합니다. 마지막 수정 시간 또는 크기를 변경하지 않고 파일이 업데이트된 경우 delete-objects-from-source 옵션을 사용 설정하면 이러한 변경사항에서 데이터가 손실될 수 있습니다.

delete-objects-from-source 기능을 사용할 때는 데이터 손실 방지를 위해 전송 기간 동안 소스에 대한 쓰기를 고정하는 것이 좋습니다.

소스에 대한 쓰기를 고정하려면 다음 중 하나를 수행합니다.

  • 전송하려는 디렉터리를 클론한 후 클론된 디렉터리를 전송 소스로 사용합니다.
  • 소스 디렉터리에 쓰기를 수행하는 애플리케이션을 중지합니다.

전송 중에 발생한 변경사항을 반영해야 하면 전송을 다시 실행하거나 작업이 실행되는 동안 소스 파일 시스템을 읽기 전용으로 설정하면 됩니다.

Cloud Storage에는 디렉터리 개념이 없으므로 빈 소스 디렉터리가 전송되지 않습니다.