URL 목록 만들기

이 페이지에서는 URL 목록을 만들고 MD5 해시 생성 프로세스를 테스트하는 방법을 설명합니다. Storage Transfer Service를 사용하여 데이터를 공개 데이터 위치 목록에서 Cloud Storage 버킷으로 전송할 수 있습니다. 전송을 구성할 때 URL 목록을 명시하기만 하면 됩니다.

요구사항

URL 목록의 요구사항은 다음과 같습니다.

URL 목록은 탭으로 구분된 값(TSV) 파일이어야 합니다.
URL은 UTF-8 사전 순서로 정렬되어야 합니다.
서버는 URL 목록을 반환할 때 HTTP 응답에 강력한 Etag 헤더를 설정합니다.
http 또는 https로 시작하는 URL에서 URL 목록에 공개적으로 액세스할 수 있습니다.

참고: URL 목록 값은 HttpData url_list 메서드에 사용됩니다.

데이터를 전송하려면 다음을 확인하세요.

지정한 각 URL에 공개적으로 액세스할 수 있습니다.

예를 들면 Cloud Storage에서 객체를 공개적으로 공유하고 이 객체에 대한 링크를 가져올 수 있습니다.
서버의 robots.txt 파일은 각 URL에 대한 액세스를 허용합니다.
각 객체를 호스팅하는 서버는 다음과 같습니다.
- Range 요청을 지원합니다.
- 각 응답에서 Content-Length 헤더를 반환합니다.

URL 목록 형식 지정

URL 목록의 형식을 지정하려면 다음 단계를 따르세요.

탭으로 구분된 값(TSV) 파일을 만듭니다.
형식 지정자 TsvHttpData-1.0을 첫 번째 행에 삽입합니다.
전송할 각 객체에 새로운 줄을 추가합니다. 각 줄에 다음과 같은 탭으로 구분된 필드를 순서대로 포함합니다.
- 소스 객체의 HTTP 또는 HTTPS URL.
  
  http(s)://[HOSTNAME]:[PORT]/[URL_PATH]에 있는 객체가 Cloud Storage로 전송되면 Cloud Storage의 객체 이름은 [HOSTNAME]/[URL_PATH]입니다.
- 객체 크기(바이트).
  
  객체를 가져올 때 지정된 크기가 객체의 실제 크기와 일치하는지 확인합니다. Cloud Storage에서 수신한 객체의 크기가 지정된 크기와 일치하지 않으면 객체 전송이 실패합니다.
  
  참고: 선택사항이지만 이 단계는 데이터 무결성을 보장하는 데 도움이 됩니다.
- 객체의 Base64로 인코딩된 MD5 체크섬입니다.
  
  지정된 MD5 체크섬이 전송된 바이트에서 계산된 MD5 체크섬과 일치하는지 확인합니다. Cloud Storage에서 수신한 객체의 MD5 체크섬이 지정된 MD5 체크섬과 일치하지 않으면 객체 전송이 실패합니다.
  
  참고: 선택사항이지만 이 단계는 데이터 무결성을 보장하는 데 도움이 됩니다.
  참고: 많은 체크섬 도구가 객체의 MD5 체크섬을 base16으로 인코딩된 형식으로 출력합니다. 제공된 값이 base64 인코딩 형식인지 확인하세요.
다음은 전송할 두 객체를 지정하는 샘플 TSV 파일입니다.
```
TsvHttpData-1.0
https://example.com/buckets/obj1      1357      wHENa08V36iPYAsOa2JAdw==
https://example.com/buckets/obj2      2468      R9acAaveoPd2y8nniLUYbw==
```

다음 단계

전송 만들기