알려진 제한사항

이 페이지에서는 Cloud Storage와 Storage Transfer Service의 알려진 제한사항을 설명합니다.

일반적인 제한사항

Cloud Storage 5TiB 객체 크기 제한

Cloud Storage는 최대 단일 객체 크기를 5TiB까지 지원합니다. 객체가 5TiB보다 크면 Cloud Storage 또는 Storage Transfer Service의 객체에 대한 객체 전송이 실패합니다.

Cloud Storage 객체 이름 지정 요구사항

Cloud Storage는 모든 Storage Transfer Service 전송에 적용되는 객체 이름 요구사항을 적용합니다.

변경된 객체가 전송되지 않음

Storage Transfer Service는 전송 중에 소스 파일을 잠그지 않습니다.

전송 중에 객체의 데이터가 업데이트되는 경우 다음은 Storage Transfer Service가 응답하는 방법을 설명합니다.

• Google Cloud 이외의 서비스에서 Google Cloud로 전송: 전송 중에 객체의 데이터가 업데이트되는 경우 Storage Transfer Service는 해당 특정 객체의 전송에 실패하고 객체가 전송되지 않습니다.

• 파일 시스템에서 Google Cloud로 전송: 전송 중에 객체의 데이터가 업데이트되면 Storage Transfer Service에서 업로드를 다시 시도합니다. 업로드가 여러 번 실패하면 Storage Transfer Service에서 FILE_MODIFIED_FAILURE를 로깅합니다. 자세한 내용은 문제 해결을 참조하세요.

• Google Cloud에서 파일 시스템으로 전송: 전송 중에 객체의 데이터가 업데이트되면 Storage Transfer Service에서 다시 다운로드를 시도합니다. 다운로드가 여러 번 실패하면 Storage Transfer Service에서 PRECONDITION_FAILURE를 로깅합니다. 자세한 내용은 문제 해결을 참조하세요.

실패를 해결하려면 다음 안내를 따르세요.

1. 전송을 다시 시도합니다.

2. 객체의 전송이 계속 실패하면 전송 중에 데이터를 업데이트할 수 없는지 확인합니다.

   • Cloud Storage 소스 - 객체 보존 조치 적용.
   • Amazon S3 소스 - S3 객체 잠금 설정.
   • Microsoft Azure Storage 소스 - Blob Storage에 대한 불변성 정책 설정.
   • 파일 시스템 소스 - 파일을 읽기 전용 모드로 설정하거나 전송 중인 파일에 대한 쓰기를 제한합니다.

3. 전송이 완료되면 객체에 대한 업데이트를 다시 사용 설정할 수 있습니다.

Cloud Storage의 폴더

Cloud Storage 객체는 버킷 내의 단일 구조 네임스페이스 내에 있습니다. 자세한 내용은 객체 네임스페이스를 참조하세요. 따라서 Storage Transfer Service는 Cloud Storage 내에 계층적 네임스페이스를 만들지 않습니다. 예를 들어 Azure Data Lake Storage(ADLS) 2세대에서 전송하는 경우 Storage Transfer Service는 Cloud Storage에 ADLS 2세대 네임스페이스를 다시 만들지 않습니다.

버전 관리가 중단된 Amazon S3 버킷에서 객체 삭제

버전 관리가 중단된 Amazon S3 버킷의 전송 기능 이후에 Storage Transfer Service를 사용하여 소스에서 객체를 삭제하면 Storage Transfer Service는 현재 버전이 아닌 버전 ID가 null인 객체를 삭제합니다.

Storage Transfer Service 작업 위치

Storage Transfer Service는 소스 Cloud Storage 버킷 리전을 기준으로 위치를 선택합니다. 현재 Storage Transfer Service 작업이 생성되는 위치는 다음과 같습니다. Storage Transfer Service가 새 리전에 대한 지원을 추가함에 따라 목록이 변경될 수 있습니다.

소스 Cloud Storage 버킷이 나열되지 않은 리전에 위치한 경우 소스 외부 리전 내에서 기본 리전을 선택합니다.

• ASIA-EAST1
• ASIA-EAST2
• ASIA-NORTHEAST1
• ASIA-NORTHEAST2
• ASIA-NORTHEAST3
• ASIA-SOUTH1
• ASIA-SOUTH2
• ASIA-SOUTHEAST1
• ASIA-SOUTHEAST2
• AUSTRALIA-SOUTHEAST1
• AUSTRALIA-SOUTHEAST2
• EUROPE-WEST1
• EUROPE-WEST2
• EUROPE-WEST3
• EUROPE-WEST4
• EUROPE-WEST9
• EUROPE-NORTH1
• EUROPE-SOUTHWEST1
• NORTHAMERICA-NORTHEAST1
• NORTHAMERICA-NORTHEAST2
• US-CENTRAL1
• US-CENTRAL2
• US-EAST1
• US-EAST4
• US-WEST1
• US-WEST2
• US-WEST3
• US-WEST4
• NAM4

알려진 파일 시스템 전송 제한사항

실시간 지원 없음

Storage Transfer Service는 시간별 이하 변경 감지를 지원하지 않습니다. Storage Transfer Service는 최대 1시간에 한 번 빈도로 소스를 스캔할 수 있는 일괄 데이터 이동 서비스입니다.

지원되는 운영체제 구성

전송 에이전트를 사용하려면 Docker를 설치하고 Linux 서버 또는 가상 머신(VM)에서 실행해야 합니다. CIFS 또는 SMB 파일 시스템의 데이터를 복사하려면 Linux 서버 또는 VM에 볼륨을 마운트 한 다음 Linux 서버 또는 VM에서 에이전트를 실행하면 됩니다.

메모리 요구사항

다음은 Transfer Service for On Premises Data 에이전트의 메모리 요구사항입니다.

• 최소 메모리: 1GiB
• 고성능 업로드를 지원하기 위한 최소 메모리: 6GiB

확장 제한

Storage Transfer Service는 다음과 같은 개별 전송을 지원합니다.

• 크기 수백 테라바이트
• 최대 10억 개의 파일
• 전송 속도 수십 Gbps

이 크기보다 큰 개별 전송은 안정적이지만 성능은 테스트되지 않았습니다.

이 한도보다 큰 데이터 세트가 있는 경우 데이터를 전송 작업 여러 개에 분할하는 것이 좋습니다.

현재 큰 디렉터리를 지원합니다. 즉, 모든 에이전트에 가장 큰 디렉터리에 있는 파일 1백만에 사용 가능한 메모리가 최소 1GB 이상이므로 메모리를 초과하지 않고 디렉터리 콘텐츠를 반복할 수 있습니다.

에이전트 및 에이전트 풀 제한사항

Google에서는 단일 에이전트 풀에 최대 100명의 에이전트를 지원합니다. 일반적인 환경에서 성능을 개선하기 위해 에이전트가 더 필요할 가능성은 낮습니다.

프로젝트당 최대 800개의 에이전트 풀이 지원됩니다.

작업당 단일 디렉터리

Google에서는 파일 시스템 디렉터리의 전체 콘텐츠만 재귀적으로 전송할 수 있습니다. 데이터 세트의 여러 하위 디렉터리를 전송하는 작업을 여러 개 만들어 전송을 파티션으로 나눌 수 있지만 현재 단일 작업 내에서 파일 글로빙 또는 필터링을 지원하지 않습니다.

지원되는 파일 이름

다음 규칙은 전송에 포함되는 모든 파일 이름에 적용됩니다.

• 파일 이름은 UTF8 인코딩을 사용해야 합니다.
• 파일 이름은 유니코드와 호환되어야 합니다.
• 줄바꿈(\n) 또는 캐리지 리턴(\r)이 포함되면 안 됩니다.

소스 디렉터리에 지원되지 않는 파일 이름이 있으면 이 디렉터리의 파일 목록 태스크가 실패합니다.

이 경우 지원되지 않는 파일 이름을 업데이트하고 작업을 다시 실행합니다.

지원되는 파일 형식

Storage Transfer Service는 일반 파일과 Unix 스타일의 숨겨진 파일을 전송하는 기능을 지원합니다. Unix 스타일 숨김 파일은 . 문자로 시작하는 파일입니다. Storage Transfer Service에서 기기, 명명된 파이프 또는 소켓과 같은 일반적이지 않은 파일을 발견하면 UNSUPPORTED_FILE_MODE 오류가 발생합니다.

객체가 버킷 내의 하위 디렉터리 내에 있지 않으므로 Cloud Storage에서 빈 디렉터리가 생성되지 않습니다. 자세한 내용은 객체 네임스페이스를 참조하세요.

최대 경로 길이

Storage Transfer Service는 Cloud Storage의 최대 경로 길이 1024바이트를 준수합니다. 프리픽스가 Cloud Storage의 객체 이름에 통합되므로 대상 객체의 객체 프리픽스는 길이 제한에 적용됩니다.

지원되는 파일 메타데이터

기본적으로 또는 필요에 따라 보존되는 메타데이터에 대한 자세한 내용은 메타데이터 보존을 참조하세요.

확장된 작업 일시중지

30일 이상 일시중지된 작업은 비활성으로 간주됩니다. 작업이 비활성 상태이면 일시중지된 작업이 취소되고 작업 구성 일정이 중지됩니다. 작업을 다시 명시적으로 사용 설정하지 않으면 새 작업이 실행되지 않습니다.

파일 시스템 소스 보안

에이전트 액세스

전송 작업을 만들 수 있는 사용자는 에이전트가 액세스할 수 있는 모든 파일 시스템 디렉터리에서 데이터를 검색하고 다운로드할 수 있습니다. 에이전트가 루트로 실행되고 전체 파일 시스템에 대한 액세스 권한이 부여되면 악의적인 행위자가 호스트를 인계받을 수 있습니다. 필요한 에이전트로만 에이전트 액세스를 제한하는 것이 좋습니다.