Cloud Storage

Google Cloud Storage 커넥터를 사용하면 Google Cloud Storage에 연결하고 파일 전송 작업을 수행할 수 있습니다.

시작하기 전에

Cloud Storage 커넥터를 사용하기 전에 다음 태스크를 수행합니다.

  • Google Cloud 프로젝트에서:
    • 커넥터를 구성하는 사용자에게 roles/connectors.admin IAM 역할을 부여합니다.
    • 커넥터에 사용할 서비스 계정에 다음 IAM 역할을 부여합니다.
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor
      • roles/storage.admin

      서비스 계정은 인증을 거쳐야 하며 Google API의 데이터에 액세스할 수 있는 승인을 받은 사람이 아닌 사용자를 나타내는 특별한 유형의 Google 계정입니다. 서비스 계정이 없으면 서비스 계정을 만들어야 합니다. 자세한 내용은 서비스 계정 만들기를 참조하세요.

    • 다음 서비스를 사용 설정합니다.
      • secretmanager.googleapis.com(Secret Manager API)
      • connectors.googleapis.com(Connectors API)

      서비스 사용 설정 방법은 서비스 사용 설정을 참조하세요.

    이러한 서비스나 권한이 이전 프로젝트에서 사용 설정되지 않았으면 커넥터를 구성할 때 서비스나 권한을 사용 설정하라는 메시지가 표시됩니다.

커넥터 구성

커넥터를 구성하려면 데이터 소스(백엔드 시스템)에 대한 연결을 만들어야 합니다. 연결은 데이터 소스와 관련이 있습니다. 즉, 데이터 소스가 많으면 데이터 소스마다 별도의 연결을 만들어야 합니다. 연결을 만들려면 다음 단계를 따르세요.

  1. Cloud 콘솔에서 Integration Connectors > 연결 페이지로 이동한 다음 Google Cloud 프로젝트를 선택하거나 만듭니다.

    연결 페이지로 이동

  2. + 새로 만들기를 클릭하여 연결 만들기 페이지를 엽니다.
  3. 위치 섹션에서 연결 위치를 선택합니다.
    1. 리전: 드롭다운 목록에서 위치를 선택합니다.

      지원되는 모든 리전 목록은 위치를 참조하세요.

    2. 다음을 클릭합니다.
  4. 연결 세부정보 섹션에서 다음을 완료합니다.
    1. 커넥터: 사용 가능한 커넥터 드롭다운 목록에서 Cloud Storage를 선택합니다.
    2. 커넥터 버전: 사용 가능한 버전의 드롭다운 목록에서 커넥터 버전을 선택합니다.
    3. 연결 이름 필드에서 연결 인스턴스의 이름을 입력합니다.

      연결 이름은 다음 기준을 충족해야 합니다.

      • 연결 이름에 문자, 숫자, 하이픈을 사용할 수 있습니다.
      • 문자는 소문자여야 합니다.
      • 연결 이름은 문자로 시작하고 문자 또는 숫자로 끝나야 합니다.
      • 연결 이름은 63자를 초과할 수 없습니다.
    4. 선택적으로 연결 인스턴스에 대한 설명을 입력합니다.
    5. 서비스 계정: 필수 역할이 있는 서비스 계정을 선택합니다.
    6. 필요한 경우 연결 노드 설정을 구성합니다.

      • 최소 노드 수: 최소 연결 노드 수를 입력합니다.
      • 최대 노드 수: 최대 연결 노드 수를 입력합니다.

      노드는 트랜잭션을 처리하는 연결의 단위(또는 복제본)입니다. 연결에 대해 더 많은 트랜잭션을 처리하려면 더 많은 노드가 필요합니다. 이와 반대로 더 적은 트랜잭션을 처리하기 위해서는 더 적은 노드가 필요합니다. 노드가 커넥터 가격 책정에 미치는 영향을 파악하려면 연결 노드 가격 책정을 참조하세요. 값을 입력하지 않으면 기본적으로 최소 노드가 (높은 가용성을 위해) 2로 설정되고 최대 노드는 50으로 설정됩니다.

    7. 프로젝트 ID: 데이터가 있는 Google Cloud 프로젝트의 ID입니다
    8. 선택적으로 + 라벨 추가를 클릭하여 키/값 쌍의 형식으로 연결에 라벨을 추가합니다.
    9. 다음을 클릭합니다.
  5. 검토: 연결을 검토합니다.
  6. 만들기를 클릭합니다.

항목, 작업, 조치

모든 Integration Connectors는 연결된 애플리케이션의 객체에 대한 추상화 레이어를 제공합니다. 이 추상화를 통해서만 애플리케이션의 객체에 액세스할 수 있습니다. 추상화는 항목, 작업, 조치로 노출됩니다.

  • 항목: 연결된 애플리케이션 또는 서비스에서 항목은 객체 또는 속성 모음으로 간주될 수 있습니다. 항목의 정의는 커넥터마다 다릅니다. 예를 들어 데이터베이스 커넥터에서는 테이블이 항목이고, 파일 서버 커넥터에서는 폴더가 항목이며 메시징 시스템 커넥터에서는 큐가 항목입니다.

    그러나 커넥터가 항목을 지원하지 않거나 항목을 포함하지 않을 수 있으며, 이 경우 Entities 목록이 비어 있습니다.

  • 작업: 작업은 항목에 대해 수행할 수 있는 활동입니다. 항목에서 다음 작업을 수행할 수 있습니다.

    사용 가능한 목록에서 항목을 선택하면 항목에 사용 가능한 작업 목록이 생성됩니다. 작업에 대한 자세한 설명은 커넥터 태스크의 항목 작업을 참조하세요. 그러나 커넥터가 항목 작업을 지원하지 않으면 이렇게 지원되지 않는 작업은 Operations 목록에 나열되지 않습니다.

  • 조치: 커넥터 인터페이스를 통해 통합에 제공되는 첫 번째 클래스 함수입니다. 조치를 사용하면 항목을 변경할 수 있습니다. 조치는 커넥터마다 다릅니다. 하지만 커넥터가 조치를 지원하지 않을 수 있으며 이 경우 Actions 목록이 비어 있습니다.

시스템 제한사항

Google Cloud Storage 커넥터는 노드별로 초당 최대 10개의 트랜잭션을 처리할 수 있으며 이 한도를 초과하는 모든 트랜잭션을 제한할 수 있습니다. 기본적으로 Integration Connectors는 가용성을 높이기 위해 연결에 2개의 노드를 할당합니다.

Integration Connectors에 적용되는 한도에 대한 자세한 내용은 한도를 참조하세요.

작업

Google Cloud Storage 연결은 다음 작업을 지원합니다.

DownloadObject 작업

다음 표에서는 DownloadObject 작업의 입력 매개변수를 설명합니다.

매개변수 이름 필수 데이터 유형 설명
버킷 예 문자열 다운로드할 객체가 있는 버킷 이름입니다.
ObjectFilePath 아니요 문자열 다운로드해야 하는 객체의 이름입니다. 지정하지 않으면 지정된 버킷의 모든 객체가 다운로드됩니다.

다운로드할 객체가 버킷의 하위 폴더에 있으면 해당 객체의 전체 경로를 제공해야 합니다. 예를 들어 bucket_01의 folderA에 있는 logfile.txt를 다운로드하려면 객체 경로가 folderA/logfile.txt여야 합니다.

HasBytes 아니요 불리언 콘텐츠를 바이트로 다운로드할지 여부입니다. 유효한 값은 true 또는 false입니다. true로 설정하면 콘텐츠가 Base64 인코딩 문자열로 다운로드됩니다.

기본적으로 HasBytes 필드는 false로 설정됩니다.
UpdatedEndDate 아니요 날짜 객체를 다운로드할 종료 날짜 범위입니다. 지정하지 않으면 객체가 지정된 UpdatedStartDate부터 오늘까지 다운로드됩니다.
UpdatedStartDate 아니요 날짜 객체를 다운로드할 기간의 시작 날짜입니다. 지정하지 않으면 객체가 시간 시작부터 UpdatedEndDate까지 다운로드됩니다.

DownloadObject 작업을 구성하는 방법의 예시는 예시를 참조하세요.

UploadObject 작업

다음 표에서는 UploadObject 작업의 입력 매개변수를 설명합니다.

매개변수 이름 필수 데이터 유형 설명
버킷 예 문자열 객체가 업로드되는 버킷 이름입니다.
FolderPath 아니요 문자열 객체를 업로드해야 하는 폴더의 경로입니다.
ContentBytes 아니요 문자열 바이트 형식으로 업로드할 콘텐츠입니다(Base64 인코딩 문자열).
HasBytes 아니요 불리언 콘텐츠를 바이트로 업로드할지 여부입니다. 유효한 값은 true 또는 false입니다. true로 설정하면 업로드할 콘텐츠가 Base64로 인코딩된 문자열이어야 합니다.

기본적으로 HasBytes 필드는 false로 설정됩니다.
콘텐츠 예 문자열 업로드할 콘텐츠입니다.
ObjectName 아니요 문자열 업로드할 객체의 이름입니다.

UploadObject 작업을 구성하는 방법의 예시는 예시를 참조하세요.

CopyObject 작업

다음 표에서는 CopyObject 작업의 입력 매개변수를 설명합니다.

매개변수 이름 필수 데이터 유형 설명
BucketSource 예 문자열 객체를 복사할 출처의 버킷 이름입니다.
ObjectSource 예 문자열 객체를 복사할 폴더의 전체 경로입니다.
BucketDestination 예 문자열 객체를 복사할 대상의 버킷 이름입니다.
ObjectDestination 아니요 문자열 객체 이름을 포함한 대상의 전체 경로입니다. 객체 이름을 지정하지 않으면 소스 객체의 이름이 유지됩니다.

CopyObject 작업을 구성하는 방법의 예시는 예시를 참조하세요.

MoveObject 작업

다음 표에서는 MoveObject 작업의 입력 매개변수를 설명합니다.

매개변수 이름 필수 데이터 유형 설명
BucketSource 예 문자열 객체를 이동할 출처의 버킷 이름입니다.
ObjectSource 예 문자열 객체를 이동할 폴더의 전체 경로입니다.
BucketDestination 예 문자열 객체를 이동할 대상의 버킷 이름입니다.
ObjectDestination 아니요 문자열 객체 이름을 포함한 대상의 전체 경로입니다. 객체 이름을 지정하지 않으면 소스 객체의 이름이 유지됩니다.

DeleteObject 작업

다음 표에서는 DeleteObject 작업의 입력 매개변수를 설명합니다.

매개변수 이름 필수 데이터 유형 설명
BucketSource 예 문자열 삭제할 객체가 있는 버킷 이름입니다.
ObjectSource 예 문자열 삭제할 객체의 이름입니다.
Generation 아니요 실수 삭제할 객체의 버전입니다. 이 경우 기본 동작인 최신 버전이 아닌 지정된 객체 버전이 영구 삭제됩니다.
IfGenerationMatch 아니요 실수 객체의 현재 세대가 지정된 값과 일치하는지 여부에 따라 삭제 작업을 조건부로 만듭니다. 이 값을 0으로 설정하면 서비스 중인 객체 버전이 없는 경우에만 작업이 성공합니다.
IfGenerationNotMatch 아니요 실수 객체의 현재 세대가 지정된 값과 일치하지 않는지 여부에 따라 삭제 작업을 조건부로 만듭니다. 서비스 중인 객체가 없으면 전제조건이 실패합니다. 이 값을 0으로 설정하면 서비스 중인 객체 버전이 있는 경우에만 작업이 성공합니다.
IfMetagenerationMatch 아니요 실수 객체의 현재 메타 세대가 지정된 값과 일치하는지 여부에 따라 삭제 작업을 조건부로 만듭니다.
IfMetagenerationNotMatch 아니요 실수 객체의 현재 메타 세대가 지정된 값과 일치하지 않는지 여부에 따라 삭제 작업을 조건부로 만듭니다.

SignURL 작업

다음 표에서는 지정된 객체의 서명된 URL을 만드는 SignURL 작업의 입력 매개변수를 설명합니다.

매개변수 이름 필수 데이터 유형 설명
버킷 예 문자열 객체가 있는 버킷 이름입니다.
Object 예 문자열 SignedURL을 생성할 객체의 이름입니다.
RequestMethod 아니요 문자열 서명된 요청에 사용할 메서드입니다. 기본값은 GET입니다.
Location 아니요 문자열 지정된 버킷의 위치입니다. 기본값은 auto입니다.
ActiveDateTime 아니요 문자열 SignedURL이 활성화될 dateTime입니다. 지정하지 않으면 현재 dateTime이 사용됩니다.
Query 아니요 문자열 SignedURL을 사용할 때 포함되어야 하는 쿼리 문자열입니다. 지정되지 않은 경우 쿼리 문자열이 사용되지 않습니다.
CustomHeaders 아니요 문자열 SignedURL에 사용할 헤더의 이름=값의 쉼표로 구분된 목록입니다. 지정되지 않은 경우 커스텀 헤더가 사용되지 않습니다.
ExpiresIn 예 문자열 SignedURL의 만료 시간은 1d2h3m4s 형식이어야 하며, 최댓값은 7d0h0m0s입니다.
HmacAccessKey 아니요 문자열 HMAC 액세스 키입니다. 자세한 내용은 HMAC 키를 참조하세요.
HmacSecret 아니요 문자열 HMAC 보안 비밀입니다.

예시

이 섹션의 예시에서는 다음 작업을 설명합니다.

  • 모든 객체 나열
  • 버킷의 모든 객체 나열
  • 모든 버킷 나열
  • 객체 다운로드
  • 바이너리 객체 다운로드
  • 버킷에 바이너리 객체 업로드
  • 버킷에 객체 업로드
  • 폴더에 객체 업로드
  • 객체 복사
  • 객체 이동
  • 객체 삭제
  • 객체의 서명된 URL 만들기

다음 표에는 샘플 시나리오와 커넥터 태스크의 해당 구성이 나와 있습니다.

태스크 구성
모든 객체 나열
  1. Configure connector task 대화상자에서 Entities를 클릭합니다.
  2. Objects 항목을 선택한 후 List 작업을 선택합니다.
  3. 완료를 클릭합니다.

모든 버킷의 모든 객체가 나열됩니다. 객체는 Connectors 태스크의 connectorOutputPayload 응답 매개변수에 나열됩니다.
버킷의 모든 객체 나열
  1. Configure connector task 대화상자에서 Entities를 클릭합니다.
  2. Objects 항목을 선택한 후 List 작업을 선택합니다.
  3. 완료를 클릭합니다.
  4. filterClause를 객체를 나열할 버킷 이름으로 설정합니다. 절을 설정하려면 Connectors 태스크의 Task Input 섹션에서 filterClause를 클릭한 다음 기본값 필드에 Bucket = 'BUCKET_NAME'을 입력합니다. 예를 들면 Bucket = 'bucket_01'입니다.
모든 버킷 나열
  1. Configure connector task 대화상자에서 Entities를 클릭합니다.
  2. Buckets 항목을 선택한 후 List 작업을 선택합니다.
  3. 완료를 클릭합니다.
객체 다운로드
  1. Configure connector task 대화상자에서 Actions를 클릭합니다.
  2. DownloadObject 조치를 선택한 다음 완료를 클릭합니다.
  3. 커넥터 태스크의 태스크 입력 섹션에서 connectorInputPayload를 클릭한 후 Default Value 필드에 다음과 유사한 값을 입력합니다. 
    {
  "Bucket": "bucket-test-01",
  "ObjectFilePath": "logfile.txt"
}

    4. 이 예시에서는 logfile.txt 파일을 다운로드합니다. 다운로드한 파일의 콘텐츠는 Connectors 태스크의 connectorOutputPayload 응답 매개변수에서 JSON 형식으로 제공됩니다.
바이너리 객체 다운로드

바이너리 객체를 다운로드하는 단계는 앞서 설명한 대로 일반 객체를 다운로드하는 것과 같습니다. 또한 connectorInputPayload 필드에서 HasBytes를 true로 지정해야 합니다. 그러면 객체가 Base64로 인코딩된 문자열로 다운로드됩니다. connectorInputPayload 필드의 샘플 값은 다음과 같습니다.

{
"Bucket": "bucket-test-01",
"ObjectFilePath": "image01.png",
"HasBytes" : true
}

다운로드가 성공하면 connectorOutputPayload 필드의 출력이 다음과 비슷하게 표시됩니다.

{
"Success": "true",
"ContentBytes": "SGVsbG8gdGVzdCE\u003d"
}
버킷에 바이너리 객체 업로드
  1. Configure connector task 대화상자에서 Actions를 클릭합니다.
  2. UploadObject 조치를 선택한 다음 완료를 클릭합니다.
  3. 커넥터 태스크의 태스크 입력 섹션에서 connectorInputPayload를 클릭한 다음 Default Value 필드에 다음을 입력합니다. 
    {
"ContentBytes": "SGVsbG8gVGVzdCE=",
"Bucket": "bucket-test-01",
"ObjectName" : "test-file-01",
"HasBytes": true
}

    4. 이 예시에서는 bucket-test-01 버킷에 test-file-01 파일을 만듭니다. test-file-01 이름의 기존 파일이 있으면 덮어씁니다.
버킷에 객체 업로드
  1. Configure connector task 대화상자에서 Actions를 클릭합니다.
  2. UploadObject 조치를 선택한 다음 완료를 클릭합니다.
  3. 커넥터 태스크의 태스크 입력 섹션에서 connectorInputPayload를 클릭한 다음 Default Value 필드에 다음을 입력합니다. 
    {
"Content": "Hello test!",
"Bucket": "bucket-test-01",
"ObjectName" : "test-file-01.txt"
}

    4. 이 예시에서는 bucket-test-01 버킷에 콘텐츠 Hello test!로 test-file-01.txt 파일을 만듭니다. test-file-01.txt 이름의 기존 파일이 있으면 덮어씁니다.
폴더에 객체 업로드
  1. Configure connector task 대화상자에서 Actions를 클릭합니다.
  2. UploadObject 조치를 선택한 다음 완료를 클릭합니다.
  3. 커넥터 태스크의 태스크 입력 섹션에서 connectorInputPayload를 클릭한 다음 Default Value 필드에 다음을 입력합니다. 
    {
"Content": "Hello test!",
"Bucket": "bucket-test-01",
"FolderPath": "folderA",
"ObjectName": "test-file-01.txt"
}

    4. 이 예시에서는 bucket-test-01의 folderA 폴더에 Hello test! 콘텐츠가 있는 test-file-01.txt 파일을 만듭니다. 폴더에 test-file-01.txt 이름의 기존 파일이 있으면 덮어씁니다.
객체 복사
  1. Configure connector task 대화상자에서 Actions를 클릭합니다.
  2. CopyObject 조치를 선택한 다음 완료를 클릭합니다.
  3. 커넥터 태스크의 태스크 입력 섹션에서 connectorInputPayload를 클릭한 다음 Default Value 필드에 다음을 입력합니다. 
    {
"BucketSource": "bucket_01",
"ObjectSource": "folderA/logfile.txt",
"BucketDestination": "bucket_02",
"ObjectDestination": "folderB/logfile.txt"
}

    4. 이 예시에서는 folderA/logfile.txt 파일을 bucket_01에서 bucket_02의 folderB/logfile.txt로 복사합니다.

복사가 성공하면 connectorOutputPayload 필드의 출력이 다음과 비슷하게 표시됩니다.

{
"Success": "true"
}
객체 이동
  1. Configure connector task 대화상자에서 Actions를 클릭합니다.
  2. MoveObject 조치를 선택한 다음 완료를 클릭합니다.
  3. 커넥터 태스크의 태스크 입력 섹션에서 connectorInputPayload를 클릭한 다음 Default Value 필드에 다음을 입력합니다. 
    {
"BucketSource": "bucket_01",
"ObjectSource": "folderA/logfile.txt",
"BucketDestination": "bucket_02",
"ObjectDestination": "folderB/logfile.txt"
}

    4. 이 예시에서는 folderA/logfile.txt 파일을 bucket_01에서 bucket_02의 folderB/logfile.txt로 이동합니다.

복사가 성공하면 connectorOutputPayload 필드의 출력이 다음과 비슷하게 표시됩니다.

{
"Success": "true"
}
객체 삭제
  1. Configure connector task 대화상자에서 Actions를 클릭합니다.
  2. DeleteObject 조치를 선택한 다음 완료를 클릭합니다.
  3. 커넥터 태스크의 태스크 입력 섹션에서 connectorInputPayload를 클릭한 다음 Default Value 필드에 다음을 입력합니다. 
    {
"BucketSource": "bucket_01",
"ObjectSource": "logfile.txt"
}

    4. 이 예시에서는 bucket_01에서 logfile.txt 파일을 삭제합니다.

복사가 성공하면 connectorOutputPayload 필드의 출력이 다음과 비슷하게 표시됩니다.

{
"Success": "true"
}
객체의 서명된 URL 만들기
  1. Configure connector task 대화상자에서 Actions를 클릭합니다.
  2. SignURL 조치를 선택한 다음 완료를 클릭합니다.
  3. 커넥터 태스크의 태스크 입력 섹션에서 connectorInputPayload를 클릭한 다음 Default Value 필드에 다음을 입력합니다. 
    {
"Bucket": "bucket-test-01",
"ObjectName" : "test-file-01.txt"
}

    4. 이 예시에서는 bucket-test-01 버킷에 있는 test-file-01.txt 파일의 서명된 URL을 만듭니다. 작업이 성공하면 다음과 비슷한 응답에서 서명된 URL을 확인할 수 있습니다.

    
{
"Success": "true",
"SignURL": "https://storage.googleapis.com/example-bucket/cat.jpeg?X-Goog-Algorithm=
GOOG4-RSA-SHA256&X-Goog-Credential=example%40example-project.iam.gserviceaccount
.com%2F20181026%2Fus-central1%2Fstorage%2Fgoog4_request&X-Goog-Date=20181026T18
1309Z&X-Goog-Expires=900&X-Goog-SignedHeaders=host&X-Goog-Signature=247a2aa45f16
9edf4d187d54e7cc46e4731b1e6273242c4f4c39a1d2507a0e58706e25e3a85a7dbb891d62afa849
6def8e260c1db863d9ace85ff0a184b894b117fe46d1225c82f2aa19efd52cf21d3e2022b3b868dc
c1aca2741951ed5bf3bb25a34f5e9316a2841e8ff4c530b22ceaa1c5ce09c7cbb5732631510c2058
0e61723f5594de3aea497f195456a2ff2bdd0d13bad47289d8611b6f9cfeef0c46c91a455b94e90a
66924f722292d21e24d31dcfb38ce0c0f353ffa5a9756fc2a9f2b40bc2113206a81e324fc4fd6823
a29163fa845c8ae7eca1fcf6e5bb48b3200983c56c5ca81fffb151cca7402beddfc4a76b13344703
2ea7abedc098d2eb14a7"
}

고려사항

  • 다운로드 가능한 객체의 최대 크기는 10MB입니다.
  • UploadObject 작업을 사용하여 여러 파일을 업로드할 수 없습니다. 파일은 1개만 업로드할 수 있습니다.

terraform을 사용하여 연결 만들기

Terraform 리소스를 사용하여 새 연결을 만들 수 있습니다.

Terraform 구성을 적용하거나 삭제하는 방법은 기본 Terraform 명령어를 참조하세요.

연결 만들기를 위한 샘플 Terraform 템플릿을 보려면 샘플 템플릿을 참조하세요.

Terraform을 사용하여 이 연결을 만들 때는 Terraform 구성 파일에서 다음 변수를 설정해야 합니다.

매개변수 이름 데이터 유형 필수 설명
project_id STRING 참 데이터가 있는 Google Cloud 프로젝트의 ID입니다.

통합에서 Cloud Storage 연결 사용

연결을 만들면 Apigee Integration 및 Application Integration에서 사용할 수 있게 됩니다. 커넥터 태스크를 통해 통합에서 연결을 사용할 수 있습니다.

  • Apigee Integration에서 커넥터 태스크를 만들고 사용하는 방법을 알아보려면 커넥터 태스크를 참조하세요.
  • Application Integration에서 커넥터 태스크를 만들고 사용하는 방법을 이해하려면 커넥터 태스크를 참조하세요.

Google Cloud 커뮤니티에서 도움 받기

Google Cloud 커뮤니티에서 Cloud 포럼에 질문을 게시하고 이 커넥터에 대해 토론할 수 있습니다.

다음 단계