Redshift

Redshift 커넥터를 사용하면 Redshift 데이터베이스에서 삽입, 삭제, 업데이트, 읽기 작업을 수행할 수 있습니다.

시작하기 전에

Redshift 커넥터를 사용하기 전에 다음 태스크를 수행합니다.

  • Google Cloud 프로젝트에서:
    • 네트워크 연결이 설정되어 있는지 확인합니다. 네트워크 패턴에 대한 자세한 내용은 네트워크 연결을 참조하세요.
    • 커넥터를 구성하는 사용자에게 roles/connectors.admin IAM 역할을 부여합니다.
    • 커넥터에 사용할 서비스 계정에 다음 IAM 역할을 부여합니다.
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      서비스 계정은 인증을 거쳐야 하며 Google API의 데이터에 액세스할 수 있는 승인을 받은 사람이 아닌 사용자를 나타내는 특별한 유형의 Google 계정입니다. 서비스 계정이 없으면 서비스 계정을 만들어야 합니다. 자세한 내용은 서비스 계정 만들기를 참조하세요.

    • 다음 서비스를 사용 설정합니다.
      • secretmanager.googleapis.com(Secret Manager API)
      • connectors.googleapis.com(Connectors API)

      서비스 사용 설정 방법은 서비스 사용 설정을 참조하세요.

    이러한 서비스나 권한이 이전 프로젝트에서 사용 설정되지 않았으면 커넥터를 구성할 때 서비스나 권한을 사용 설정하라는 메시지가 표시됩니다.

커넥터 구성

커넥터를 구성하려면 데이터 소스(백엔드 시스템)에 대한 연결을 만들어야 합니다. 연결은 데이터 소스와 관련이 있습니다. 즉, 데이터 소스가 많으면 데이터 소스마다 별도의 연결을 만들어야 합니다. 연결을 만들려면 다음 단계를 따르세요.

  1. Cloud 콘솔에서 Integration Connectors > 연결 페이지로 이동한 다음 Google Cloud 프로젝트를 선택하거나 만듭니다.

    연결 페이지로 이동

  2. + 새로 만들기를 클릭하여 연결 만들기 페이지를 엽니다.
  3. 위치 섹션에서 연결 위치를 선택합니다.
    1. 리전: 드롭다운 목록에서 위치를 선택합니다.

      지원되는 모든 리전 목록은 위치를 참조하세요.

    2. 다음을 클릭합니다.
  4. 연결 세부정보 섹션에서 다음을 완료합니다.
    1. 커넥터: 사용 가능한 커넥터의 드롭다운 목록에서 Redshift를 선택합니다.
    2. 커넥터 버전: 사용 가능한 버전의 드롭다운 목록에서 커넥터 버전을 선택합니다.
    3. 연결 이름 필드에서 연결 인스턴스의 이름을 입력합니다.

      연결 이름은 다음 기준을 충족해야 합니다.

      • 연결 이름에 문자, 숫자, 하이픈을 사용할 수 있습니다.
      • 문자는 소문자여야 합니다.
      • 연결 이름은 문자로 시작하고 문자 또는 숫자로 끝나야 합니다.
      • 연결 이름은 49자(영문 기준)를 초과할 수 없습니다.
    4. 선택적으로 연결 인스턴스에 대한 설명을 입력합니다.
    5. 필요한 경우 Cloud Logging을 사용 설정한 다음 로그 수준을 선택합니다. 기본적으로 로그 수준은 Error로 설정됩니다.
    6. 서비스 계정: 필수 역할이 있는 서비스 계정을 선택합니다.
    7. 필요한 경우 연결 노드 설정을 구성합니다.

      • 최소 노드 수: 최소 연결 노드 수를 입력합니다.
      • 최대 노드 수: 최대 연결 노드 수를 입력합니다.

      노드는 트랜잭션을 처리하는 연결의 단위(또는 복제본)입니다. 연결에 대해 더 많은 트랜잭션을 처리하려면 더 많은 노드가 필요합니다. 이와 반대로 더 적은 트랜잭션을 처리하기 위해서는 더 적은 노드가 필요합니다. 노드가 커넥터 가격 책정에 미치는 영향을 파악하려면 연결 노드 가격 책정을 참조하세요. 값을 입력하지 않으면 기본적으로 최소 노드가 (높은 가용성을 위해) 2로 설정되고 최대 노드는 50으로 설정됩니다.

    8. 데이터베이스: Amazon Redshift 데이터베이스의 이름입니다.
    9. 자동 만들기: IAM 사용자 인증 정보로 연결하는 동안 데이터베이스 사용자가 존재하지 않는 경우 사용자에 지정된 이름으로 데이터베이스 사용자를 만들려면 true를 지정합니다. AuthScheme을 참조하세요.
    10. 데이터베이스 그룹: IAM 사용자 인증 정보와 연결할 때 데이터베이스 사용자가 현재 세션에 조인하는 기존 데이터베이스 그룹 하나 이상의 이름을 쉼표로 구분한 목록입니다. AuthScheme을 참조하세요.
    11. BrowsableSchemas: 이 속성은 사용 가능한 스키마 하위 집합에 보고되는 스키마를 제한합니다. 예를 들면 BrowsableSchemas=SchemaA,SchemaB,SchemaC입니다.
    12. 무시된 스키마: 메타데이터 쿼리로 스키마 목록을 숨기는 데 사용되는 공개 상태 제한 필터입니다. 예를 들면 'information_schema, pg_catalog'입니다. 스키마 이름은 대소문자를 구분합니다.
    13. 테이블 유형 포함: true로 설정하면 제공자가 개별 테이블 및 뷰 유형을 쿼리합니다.
    14. Null 제거: 설정한 경우 null 문자가 일괄 작업의 문자 값에서 제거됩니다.
    15. 공개 상태: 현재 사용자에게 부여된 권한으로 테이블의 노출된 메타데이터를 필터링하는 데 사용되는 공개 상태 제한사항입니다. 예를 들어 'SELECT,INSERT' 필터는 SELECT 및 INSERT 작업과 관련해 현재 사용자가 액세스할 수 있는 테이블에 대해서만 메타데이터 공개 상태를 제한합니다. 지원되는 권한 값은 SELECT, INSERT, UPDATE, DELETE, REFERENCES입니다.
    16. 프록시 사용: 이 체크박스를 선택하여 연결의 프록시 서버를 구성하고 다음 값을 구성합니다.
      • 프록시 인증 스킴: 프록시 서버로 인증할 인증 유형을 선택합니다. 지원되는 인증 유형은 다음과 같습니다.
        • 기본: 기본 HTTP 인증입니다.
        • 다이제스트: 다이제스트 HTTP 인증입니다.
      • 프록시 사용자: 프록시 서버로 인증하는 데 사용할 사용자 이름입니다.
      • 프록시 비밀번호: 사용자 비밀번호의 Secret Manager 보안 비밀입니다.
      • 프록시 SSL 유형: 프록시 서버에 연결할 때 사용할 SSL 유형입니다. 지원되는 인증 유형은 다음과 같습니다.
        • 자동: 기본 설정입니다. URL이 HTTPS URL이면 터널 옵션이 사용됩니다. URL이 HTTP URL이면 사용 안 함 옵션이 사용됩니다.
        • 항상: 연결에 항상 SSL이 사용 설정됩니다.
        • 사용 안 함: 연결에 SSL이 사용 설정되지 않습니다.
        • 터널: 터널링 프록시를 통해 연결됩니다. 프록시 서버가 원격 호스트에 대한 연결을 열고 트래픽이 프록시를 통해 앞뒤로 흐릅니다.
      • 프록시 서버 섹션에서 프록시 서버의 세부정보를 입력합니다.
        1. + 대상 추가를 클릭합니다.
        2. 대상 유형을 선택합니다.
          • 호스트 주소: 대상의 호스트 이름 또는 IP 주소를 지정합니다.

            백엔드 시스템에 비공개 연결을 설정하려면 다음을 수행합니다.

    17. 선택적으로 + 라벨 추가를 클릭하여 키/값 쌍의 형식으로 연결에 라벨을 추가합니다.
    18. 다음을 클릭합니다.
  5. 대상 섹션에서 연결하려는 원격 호스트(백엔드 시스템)의 세부정보를 입력합니다.
    1. 대상 유형: 대상 유형을 선택합니다.
      • 목록에서 호스트 주소를 선택하여 대상의 호스트 이름 또는 IP 주소를 지정합니다.
      • 백엔드 시스템에 비공개 연결을 설정하려면 목록에서 엔드포인트 연결을 선택한 다음 엔드포인트 연결 목록에서 필요한 엔드포인트 연결을 선택합니다.

      추가 보안을 사용하여 백엔드 시스템에 공개 연결을 설정하려면 연결의 고정 아웃바운드 IP 주소를 구성한 후 방화벽 규칙을 구성하여 특정 고정 IP 주소만 허용 목록에 추가합니다.

      추가 대상을 입력하려면 +대상 추가를 클릭합니다.

    2. 다음을 클릭합니다.
  6. 인증 섹션에서 인증 세부정보를 입력합니다.
    1. 인증 유형을 선택하고 관련 세부정보를 입력합니다.

      Redshift 연결에서는 다음 인증 유형이 지원됩니다.

      • 사용자 이름 및 비밀번호
    2. 이러한 인증 유형을 구성하는 방법은 인증 구성을 참조하세요.

    3. 다음을 클릭합니다.
  7. 검토: 연결 및 인증 세부정보를 검토합니다.
  8. 만들기를 클릭합니다.

인증 구성

사용할 인증을 기반으로 세부정보를 입력합니다.

  • 사용자 이름 및 비밀번호
    • 사용자 이름: 커넥터의 사용자 이름입니다.
    • 비밀번호: 커넥터와 연결된 비밀번호가 포함된 Secret Manager 보안 비밀입니다.

연결 구성 샘플

이 섹션에서는 Redshift 연결을 만들 때 구성할 다양한 필드의 샘플 값이 표시됩니다.

기본 인증 연결 유형

다음 표에는 Redshift 연결을 만들 때 구성하는 다양한 필드의 샘플 값이 나와 있습니다.

필드 샘플 값
지역 us-central1
커넥터 Redshift 커넥터
커넥터 버전 1
커넥터 이름 google-cloud-redshiftdb-basicauth-conn
서비스 계정 SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
데이터베이스 dev
BrowsableSchemas public,test
Db Groups NA
Strip Out Nulls
공개 상태 SELECT,INSERT
최소 노드 수 02
최대 노드 수 50
호스트 주소 redshift-cluster-xxx-integration.HOST_NAME.us-east-1.redshift.amazonaws.com
인증 사용자 비밀번호
사용자 이름 USERNAME
비밀번호 비밀번호
버전 1

항목, 작업, 조치

모든 Integration Connectors는 연결된 애플리케이션의 객체에 대한 추상화 레이어를 제공합니다. 이 추상화를 통해서만 애플리케이션의 객체에 액세스할 수 있습니다. 추상화는 항목, 작업, 조치로 노출됩니다.

  • 항목: 연결된 애플리케이션 또는 서비스에서 항목은 객체 또는 속성 모음으로 간주될 수 있습니다. 항목의 정의는 커넥터마다 다릅니다. 예를 들어 데이터베이스 커넥터에서는 테이블이 항목이고, 파일 서버 커넥터에서는 폴더가 항목이며 메시징 시스템 커넥터에서는 큐가 항목입니다.

    그러나 커넥터가 항목을 지원하지 않거나 항목을 포함하지 않을 수 있으며, 이 경우 Entities 목록이 비어 있습니다.

  • 작업: 작업은 항목에 대해 수행할 수 있는 활동입니다. 항목에서 다음 작업을 수행할 수 있습니다.

    사용 가능한 목록에서 항목을 선택하면 항목에 사용 가능한 작업 목록이 생성됩니다. 작업에 대한 자세한 설명은 커넥터 태스크의 항목 작업을 참조하세요. 그러나 커넥터가 항목 작업을 지원하지 않으면 이렇게 지원되지 않는 작업은 Operations 목록에 나열되지 않습니다.

  • 조치: 커넥터 인터페이스를 통해 통합에 제공되는 첫 번째 클래스 함수입니다. 조치를 사용하면 항목을 변경할 수 있습니다. 조치는 커넥터마다 다릅니다. 일반적으로 조치에는 입력 매개변수와 출력 매개변수가 있습니다. 하지만 커넥터가 조치를 지원하지 않을 수 있으며 이 경우 Actions 목록이 비어 있습니다.

시스템 제한사항

Redshift 커넥터는 노드별로 1초에 트랜잭션 3개를 처리할 수 있으며 이 한도를 초과하는 트랜잭션을 제한합니다. 기본적으로 Integration Connectors는 가용성을 높이기 위해 연결에 2개의 노드를 할당합니다.

Integration Connectors에 적용되는 한도에 대한 자세한 내용은 한도를 참조하세요.

작업 예시

예시 - 더 큰 값 찾기

이 예시에서는 사용자 정의 함수를 실행하는 방법을 보여줍니다. 이 예시의 find_greater 함수는 두 정수를 비교하여 더 큰 정수를 반환합니다.

  1. Configure connector task 대화상자에서 Actions를 클릭합니다.
  2. find_greater 조치를 선택한 다음 완료를 클릭합니다.
  3. 커넥터 태스크의 태스크 입력 섹션에서 connectorInputPayload를 클릭한 후 Default Value 필드에 다음과 유사한 값을 입력합니다.
    {
    "$1": 1.0,
    "$2": 5.0
    }
  4. 작업 실행이 성공하면 커넥터 태스크의 connectorOutputPayload 필드에 다음과 유사한 값이 포함됩니다.

    [{
    "bignum": 5.0
    }]

항목 작업 예시

예시 - 항목 레코드 나열

이 예시에서는 Users 항목의 레코드를 나열합니다.

  1. Configure connector task 대화상자에서 Entities를 클릭합니다.
  2. Entity 목록에서 Users를 선택합니다.
  3. List 작업을 선택한 후 완료를 클릭합니다.
  4. 커넥터 태스크의 태스크 입력 섹션에서 요구사항에 따라 filterClause를 설정할 수 있습니다.

    예를 들어 필터 절을 employeeCode='5100' and startDate='2010-01-01 00:00:00'으로 설정하면 employeeCode가 5100이고 startDate가 2010-01-01 00:00:00인 레코드만 나열됩니다.

예시 - 항목에서 단일 레코드 가져오기

이 예시에서는 Users 항목에서 레코드를 가져옵니다.

  1. Configure connector task 대화상자에서 Entities를 클릭합니다.
  2. Entity 목록에서 User를 선택합니다.
  3. Get 작업을 선택한 후 완료를 클릭합니다.
  4. 커넥터 태스크의 태스크 입력 섹션에서 entityId를 클릭한 후 기본값 필드에 103032를 입력합니다.

    여기서 103032Users 항목의 기본 키 값입니다.

예시 - 항목에서 레코드 삭제

이 예시에서는 Users 항목에서 레코드를 삭제합니다.

  1. Configure connector task 대화상자에서 Entities를 클릭합니다.
  2. Entity 목록에서 Users를 선택합니다.
  3. Delete 작업을 선택한 후 완료를 클릭합니다.
  4. 커넥터 태스크의 태스크 입력 섹션에서 entityId를 클릭한 후 기본값 필드에 113132를 입력합니다.

    또는 항목에 entityId를 지정하는 대신 복합 기본 키가 있으면 filterClause를 설정할 수 있습니다. 예를 들면 employeeCode='5100' and startDate='2010-01-01 00:00:00'입니다.

예시 - 항목에 레코드 만들기

이 예시에서는 Users 항목에 레코드를 만듭니다.

  1. Configure connector task 대화상자에서 Entities를 클릭합니다.
  2. Entity 목록에서 Users를 선택합니다.
  3. Create 작업을 선택한 후 완료를 클릭합니다.
  4. 커넥터 태스크의 태스크 입력 섹션에서 connectorInputPayload를 클릭한 후 Default Value 필드에 다음과 유사한 값을 입력합니다.
    {
    "employeeCode": "5100",
    "startDate": "2010-01-01 00:00:00.0",
    "country": "US"
    }
  5. 통합이 성공하면 커넥터 태스크의 connectorOutputPayload 필드에 만들기 작업 응답이 포함됩니다.

예시 - 항목의 레코드 업데이트

이 예시에서는 Users 항목의 레코드를 업데이트합니다.

  1. Configure connector task 대화상자에서 Entities를 클릭합니다.
  2. Entity 목록에서 Users를 선택합니다.
  3. Update 작업을 선택한 후 완료를 클릭합니다.
  4. 커넥터 태스크의 태스크 입력 섹션에서 connectorInputPayload를 클릭한 후 Default Value 필드에 다음과 유사한 값을 입력합니다.
    {
    "country": "IN"
    }
  5. 커넥터 태스크의 태스크 입력 섹션에서 entityId를 클릭한 후 기본값 필드에 113132를 입력합니다.

    또는 항목에 entityId를 지정하는 대신 복합 기본 키가 있으면 filterClause를 설정할 수 있습니다. 예를 들면 employeeCode='5100' and startDate='2010-01-01 00:00:00'입니다.

  6. 통합이 성공하면 커넥터 태스크의 connectorOutputPayload 필드에 업데이트 작업 응답이 포함됩니다.

terraform을 사용하여 연결 만들기

Terraform 리소스를 사용하여 새 연결을 만들 수 있습니다.

Terraform 구성을 적용하거나 삭제하는 방법은 기본 Terraform 명령어를 참조하세요.

연결 만들기를 위한 샘플 Terraform 템플릿을 보려면 샘플 템플릿을 참조하세요.

Terraform을 사용하여 이 연결을 만들 때는 Terraform 구성 파일에서 다음 변수를 설정해야 합니다.

매개변수 이름 데이터 유형 필수 설명
데이터베이스 STRING True Amazon Redshift 데이터베이스의 이름입니다.
browsable_schemas STRING 거짓 이 속성은 사용 가능한 스키마 하위 집합에 보고되는 스키마를 제한합니다. 예를 들면 BrowsableSchemas=SchemaA,SchemaB,SchemaC입니다.
db_groups STRING 거짓 IAM 사용자 인증 정보와 연결할 때 데이터베이스 사용자가 현재 세션에 조인하는 기존 데이터베이스 그룹 하나 이상의 이름을 쉼표로 구분한 목록입니다. AuthScheme을 참조하세요.
ignored_schemas STRING 거짓 메타데이터 쿼리로 스키마 목록을 숨기는 데 사용되는 공개 상태 제한 필터입니다. 예를 들면 'information_schema, pg_catalog'입니다. 스키마 이름은 대소문자를 구분합니다.
include_table_types 부울 거짓 true로 설정하면 제공자가 개별 테이블 및 뷰 유형을 쿼리합니다.
strip_out_nulls 부울 거짓 설정한 경우 null 문자가 일괄 작업의 문자 값에서 제거됩니다.
visibility STRING 거짓 현재 사용자에게 부여된 권한으로 테이블의 노출된 메타데이터를 필터링하는 데 사용되는 공개 상태 제한사항입니다. 예를 들어 'SELECT,INSERT' 필터는 SELECT 및 INSERT 작업과 관련해 현재 사용자가 액세스할 수 있는 테이블에 대해서만 메타데이터 공개 상태를 제한합니다. 지원되는 권한 값은 SELECT, INSERT, UPDATE, DELETE, REFERENCES입니다.

통합에서 Redshift 연결 사용

연결을 만들면 Apigee Integration 및 Application Integration에서 사용할 수 있게 됩니다. 커넥터 태스크를 통해 통합에서 연결을 사용할 수 있습니다.

  • Apigee Integration에서 커넥터 태스크를 만들고 사용하는 방법을 알아보려면 커넥터 태스크를 참조하세요.
  • Application Integration에서 커넥터 태스크를 만들고 사용하는 방법을 이해하려면 커넥터 태스크를 참조하세요.

Google Cloud 커뮤니티에서 도움 받기

Google Cloud 커뮤니티에서 Cloud 포럼에 질문을 게시하고 이 커넥터에 대해 토론할 수 있습니다.

다음 단계