URL 목록 만들기

이 페이지에서는 URL 목록을 만들고 MD5 해시 생성 프로세스를 테스트하는 방법을 설명합니다. Storage Transfer Service를 사용하여 데이터를 공개 데이터 위치 목록에서 Cloud Storage 버킷으로 전송할 수 있습니다. 전송을 구성할 때 URL 목록을 명시하기만 하면 됩니다.

요구사항

URL 목록의 요구사항은 다음과 같습니다.

  • URL 목록은 탭으로 구분된 값(TSV) 파일이어야 합니다.

  • URL은 UTF-8 사전 순서로 정렬되어야 합니다.

  • 서버는 URL 목록을 반환할 때 HTTP 응답에 강력한 Etag 헤더를 설정합니다.

  • http 또는 https로 시작하는 URL에서 URL 목록에 공개적으로 액세스할 수 있습니다.

데이터를 전송하려면 다음을 확인하세요.

  • 지정한 각 URL에 공개적으로 액세스할 수 있습니다.

    예를 들면 Cloud Storage에서 객체를 공개적으로 공유하고 이 객체에 대한 링크를 가져올 수 있습니다.

  • 서버의 robots.txt 파일은 각 URL에 대한 액세스를 허용합니다.

  • 각 객체를 호스팅하는 서버는 다음과 같습니다.

    • Range 요청을 지원합니다.
    • 각 응답에서 Content-Length 헤더를 반환합니다.

URL 목록 형식 지정

URL 목록의 형식을 지정하려면 다음 단계를 따르세요.

  1. 탭으로 구분된 값(TSV) 파일을 만듭니다.

  2. 형식 지정자 TsvHttpData-1.0을 첫 번째 행에 삽입합니다.

  3. 전송할 각 객체에 새로운 줄을 추가합니다. 각 줄에 다음과 같은 탭으로 구분된 필드를 순서대로 포함합니다.

    • 소스 객체의 HTTP 또는 HTTPS URL.

      http(s)://[HOSTNAME]:[PORT]/[URL_PATH]에 있는 객체가 Cloud Storage로 전송되면 Cloud Storage의 객체 이름은 [HOSTNAME]/[URL_PATH]입니다.

    • 객체 크기(바이트).

      객체를 가져올 때 지정된 크기가 객체의 실제 크기와 일치하는지 확인합니다. Cloud Storage에서 수신한 객체의 크기가 지정된 크기와 일치하지 않으면 객체 전송이 실패합니다.

    • 객체의 Base64로 인코딩된 MD5 체크섬입니다.

      지정된 MD5 체크섬이 전송된 바이트에서 계산된 MD5 체크섬과 일치하는지 확인합니다. Cloud Storage에서 수신한 객체의 MD5 체크섬이 지정된 MD5 체크섬과 일치하지 않으면 객체 전송이 실패합니다.

    다음은 전송할 두 객체를 지정하는 샘플 TSV 파일입니다.

    TsvHttpData-1.0
https://example.com/buckets/obj1      1357      wHENa08V36iPYAsOa2JAdw==
https://example.com/buckets/obj2      2468      R9acAaveoPd2y8nniLUYbw==

다음 단계