SAP OData 플러그인 개요

이 가이드에서는 SAP OData 플러그인을 사용하는 데이터 파이프라인을 배포, 구성, 실행하는 방법을 설명합니다.

개방형 데이터 프로토콜(OData)을 사용하여 Cloud Data Fusion에서 배치 기반 데이터 추출의 소스로 SAP를 사용할 수 있습니다. SAP OData 플러그인을 사용하면 코딩 없이 SAP OData Catalog 서비스에서 데이터 전송을 구성하고 실행할 수 있습니다.

지원되는 SAP OData Catalog 서비스 및 데이터 소스에 대한 자세한 내용은 FAQ를 참조하세요. Google Cloud 기반 SAP에 대한 자세한 내용은 Google Cloud 기반 SAP 개요를 참조하세요.

목표

  • SAP ERP 시스템을 구성합니다(SAP에서 DataSource 활성화).
  • Cloud Data Fusion 환경에 플러그인을 배포합니다.
  • Cloud Data Fusion에서 SAP 전송을 다운로드하고 SAP에 설치합니다.
  • Cloud Data Fusion 및 SAP ODP를 사용하여 SAP 데이터 통합을 위한 데이터 파이프라인을 만듭니다.

시작하기 전에

이 플러그인을 사용하려면 다음 영역에 대한 도메인 지식이 필요합니다.

  • Cloud Data Fusion에서 파이프라인 빌드
  • IAM으로 액세스 관리
  • SAP Cloud 및 온프레미스 엔터프라이즈 리소스 계획(ERP) 시스템 구성

사용자 역할

이 페이지의 작업은 Google Cloud 또는 SAP 시스템에서 다음 역할을 가진 사용자가 수행합니다.

사용자 유형 설명
Google Cloud 관리자 이 역할이 할당된 사용자는 Google Cloud 계정의 관리자입니다.
Cloud Data Fusion 사용자 이 역할이 할당된 사용자는 데이터 파이프라인을 설계하고 실행할 수 있는 권한이 있습니다. 이 역할에는 최소한의 Data Fusion 뷰어(roles/datafusion.viewer) 역할이 부여됩니다. 역할 기반 액세스 제어를 사용하는 경우 추가 역할이 필요할 수 있습니다.
SAP 관리자 이 역할이 할당된 사용자는 SAP 시스템의 관리자입니다. 사용자는 SAP 서비스 사이트에서 소프트웨어를 다운로드할 수 있습니다. IAM 역할이 아닙니다.
SAP 사용자 이 역할이 할당된 사용자는 SAP 시스템에 연결할 수 있는 권한이 있습니다. IAM 역할이 아닙니다.

OData 추출 기본 요건

  1. OData Catalog 서비스는 SAP 시스템에서 활성화되어야 합니다.

  2. OData 서비스에 데이터를 채워야 합니다.

SAP 시스템의 기본 요건

  • SAP NetWeaver 7.02부터 SAP NetWeaver 버전 7.31까지 OData 및 SAP Gateway 기능은 다음과 같은 SAP 소프트웨어 구성요소와 함께 제공됩니다.

    • IW_FND
    • GW_CORE
    • IW_BEP
  • SAP NetWeaver 버전 7.40 이상에서는 모든 기능이 SAP_GWFND 구성요소로 제공되며, 이는 SAP NetWeaver에서 사용할 수 있어야 합니다.

선택사항: SAP 전송 파일 설치

SAP에 대한 부하 분산 호출에 필요한 SAP 구성요소는 zip 파일로 보관처리되는 SAP 전송 파일로 전달됩니다.(하나의 cofile 및 하나의 데이터 파일로 구성되는 하나의 전송 요청). 이 단계를 사용하면 SAP에서 사용 가능한 작업 프로세스를 기반으로 SAP에 대한 여러 병렬 호출을 제한할 수 있습니다.

전송 요청 ID와 관련 파일은 다음 표에 나와 있습니다.

전송 ID Cofile 데이터 파일 콘텐츠
ED1K900360 K900360.ED1 R900360.ED1 OData를 통해 노출되는 RFC 함수

전송 파일을 SAP로 가져오면 다음 SAP OData 프로젝트가 생성됩니다.

  • OData 프로젝트

    • /GOOG/GET_STATISTIC
    • /GOOG/TH_WPINFO
  • ICF 서비스 노드: GOOG

SAP 전송을 설치하려면 다음 단계를 따르세요.

1단계: 전송 요청 파일 업로드

  1. SAP 시스템에 SAP 시스템 관리자로 로그인합니다.
  2. cofile을 /usr/sap/trans/cofiles 폴더에 복사합니다.
  3. 데이터 파일을 /usr/sap/trans/data 폴더에 복사합니다.

2단계: 전송 요청 파일 가져오기

SAP 관리자는 다음 옵션 중 하나를 사용하여 전송 요청 파일을 가져올 수 있습니다.

옵션 1: SAP 전송 관리 시스템을 사용하여 전송 요청 파일 가져오기
  1. SAP 시스템에 SAP 관리자로 로그인합니다.
  2. 트랜잭션 STMS를 입력합니다.
  3. 개요 > 가져오기를 클릭합니다.
  4. 대기열 열에서 현재 SID를 더블클릭합니다.
  5. 기타 > 기타 요청 > 추가를 클릭합니다.
  6. 전송 요청 ID를 선택하고 계속을 클릭합니다.
  7. 가져오기 큐에서 전송 요청을 선택한 다음 요청 > 가져오기를 클릭합니다.
  8. 클라이언트 번호를 입력합니다.
  9. 옵션 탭에서 원본 덮어쓰기잘못된 구성요소 버전 무시(가능한 경우)를 선택합니다.

    (선택사항) 나중에 전송 다시 가져오기를 예약하려면 나중에 가져올 수 있도록 큐에 전송 요청 두기전송 요청 다시 가져오기를 선택합니다. 이는 SAP 시스템 업그레이드 및 백업 복원에 유용합니다.

  10. 계속을 클릭합니다.

  11. 가져오기를 확인하려면 SE80SU01과 같은 트랜잭션을 사용합니다.

옵션 2: 운영체제 수준에서 전송 요청 파일 가져오기
  1. SAP 시스템에 SAP 시스템 관리자로 로그인합니다.
  2. 다음 명령어를 실행하여 가져오기 버퍼에 적절한 요청을 추가합니다.

    tp addtobuffer TRANSPORT_REQUEST_ID SID
    

    예: tp addtobuffer IB1K903958 DD1

  3. 다음 명령어를 실행하여 전송 요청을 가져옵니다.

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
    

    NNN을 클라이언트 번호로 바꿉니다. 예: tp import IB1K903958 DD1 client=800 U1238

  4. SE80SU01과 같은 적절한 트랜잭션을 사용하여 함수 모듈 및 승인 역할을 성공적으로 가져왔는지 확인합니다.

SAP 카탈로그 서비스에 대해 필터링 가능한 열 목록 가져오기

일부 DataSource 열만 필터 조건에 사용할 수 있습니다(SAP의 제한사항).

SAP 카탈로그 서비스에 대해 필터링 가능한 열 목록을 가져오려면 다음 단계를 수행합니다.

  1. SAP 시스템에 로그인합니다.
  2. t-code SEGW로 이동합니다.
  3. 서비스 이름의 하위 문자열인 Odata 프로젝트 이름을 입력합니다. 예를 들면 다음과 같습니다.

    • 서비스 이름: MM_PUR_POITEMS_MONI_SRV
    • 프로젝트 이름: MM_PUR_POITEMS_MONI
  4. 입력을 클릭합니다.

  5. 필터링하려는 항목으로 이동하고 속성을 선택합니다.

    속성에 표시된 필드를 필터로 사용할 수 있습니다. 지원되는 작업은 같음범위(사이)입니다.

    SAP의 속성

표현식 언어에서 지원되는 연산자 목록은 OData 오픈소스 문서 URI Conventions(OData 버전 2.0)을 참조하세요.

필터가 있는 URI 예시:

/sap/opu/odata/sap/MM_PUR_POITEMS_MONI_SRV/C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results/?$filter=(PurchaseOrder eq '4500000000')

SAP ERP 시스템 구성

SAP OData 플러그인은 데이터가 추출된 각 SAP 서버에서 활성화된 OData 서비스를 사용합니다. 이 OData 서비스는 SAP에서 제공되는 표준 서비스이거나 사용자의 SAP 시스템에서 개발된 커스텀 OData 서비스일 수 있습니다.

1단계: SAP 게이트웨이 2.0 설치

SAP(기본) 관리자는 NetWeaver 출시 버전에 따라 SAP 소스 시스템에서 SAP 게이트웨이 2.0 구성요소를 사용할 수 있는지 확인해야 합니다. SAP 게이트웨이 2.0 설치에 대한 자세한 내용을 보려면 SAP ONE Support Launchpad에 로그인하고 Note 1569624를 참조하세요(로그인 필요).

2단계: OData 서비스 활성화

소스 시스템에서 필요한 OData 서비스를 활성화합니다. 자세한 내용은 프런트엔드 서버: OData 서비스 활성화를 참조하세요.

3단계: 승인 역할 만들기

DataSource에 연결하려면 SAP에서 필요한 승인을 사용하여 승인 역할을 만든 다음 SAP 사용자에게 부여합니다.

SAP에서 승인 역할을 만들려면 다음 단계를 따르세요.

  1. SAP GUI에서 Transaction code PFCG를 입력하여 Role Maintenance 창을 엽니다.
  2. 역할 필드에 역할 이름을 입력합니다.

    예: ZODATA_AUTH

  3. 단일 역할을 클릭합니다.

    역할 만들기 창이 열립니다.

  4. Description(설명) 필드에 설명을 입력하고 Save(저장)를 클릭합니다.

    예를 들면 Authorizations for SAP OData plugin입니다.

  5. 승인 탭을 클릭합니다. 창 제목이 Change Roles(역할 변경)로 변경됩니다.

  6. Edit Authorization Data and Generate Profiles(승인 데이터 수정 및 프로필 생성)에서 Change Authorization Data(승인 데이터 변경)를 클릭합니다.

    템플릿 선택 창이 열립니다.

  7. 템플릿을 선택하지 않음을 클릭합니다.

    역할 변경: 승인 창이 열립니다.

  8. 직접 만들기를 클릭합니다.

  9. 다음 SAP 승인 표에 표시된 승인을 제공합니다.

  10. 저장을 클릭합니다.

  11. 승인 역할을 활성화하려면 Generate(생성) 아이콘을 클릭합니다.

SAP 승인

객체 클래스 객체 클래스 텍스트 승인 객체 승인 객체 텍스트 승인 텍스트
AAAB 애플리케이션 간 승인 객체 S_SERVICE 외부 서비스 시작 시 확인 SRV_NAME 프로그램, 트랜잭션 또는 함수 모듈 이름 *
AAAB 애플리케이션 간 승인 객체 S_SERVICE 외부 서비스 시작 시 확인 SRV_TYPE 확인 플래그 및 승인 기본값 유형 HT
FI 재무 회계 F_UNI_HIER 범용 계층 구조 액세스 ACTVT 활동 03
FI 재무 회계 F_UNI_HIER 범용 계층 구조 액세스 HRYTYPE 계층 구조 유형 *
FI 재무 회계 F_UNI_HIER 범용 계층 구조 액세스 HRYID 계층 구조 ID *

Cloud Data Fusion에서 데이터 파이프라인을 설계하고 실행하려면(Cloud Data Fusion 사용자) SAP 사용자 인증 정보(사용자 이름 및 비밀번호)가 있어야 DataSource에 연결할 플러그인을 구성할 수 있습니다.

SAP 사용자는 Communications 또는 Dialog 유형이어야 합니다. SAP 대화상자 리소스를 사용하지 않으려면 Communications 유형을 사용하는 것이 좋습니다. SAP 트랜잭션 코드 SU01을 사용하여 사용자를 만들 수 있습니다.

선택사항: 4단계: 연결 보안

비공개 Cloud Data Fusion 인스턴스와 SAP 사이에 네트워크를 통해 통신을 보호할 수 있습니다.

연결을 보호하려면 다음 단계를 따릅니다.

  1. SAP 관리자가 X509 인증서를 생성해야 합니다. 인증서를 생성하려면 SSL 서버 PSE 만들기를 참조하세요.
  2. Google Cloud 관리자는 Cloud Data Fusion 인스턴스와 동일한 프로젝트에서 읽을 수 있는 Cloud Storage 버킷에 X509 파일을 복사하고 플러그인을 구성할 때 버킷 경로를 입력하는 Cloud Data Fusion 사용자에게 버킷 경로를 제공해야 합니다.
  3. Google Cloud 관리자가 파이프라인을 설계하고 실행하는 Cloud Data Fusion 사용자에게 X509 파일에 대한 읽기 액세스 권한을 부여해야 합니다.

선택사항: 5단계: 커스텀 OData 서비스 만들기

SAP에서 커스텀 OData 서비스를 만들어 데이터 추출 방법을 맞춤설정할 수 있습니다.

Cloud Data Fusion 설정

Cloud Data Fusion 인스턴스와 SAP 서버 간에 통신이 사용 설정되어 있는지 확인합니다. 비공개 인스턴스의 경우 네트워크 피어링을 설정합니다. SAP 시스템이 호스팅되는 프로젝트와 네트워크 피어링이 설정되면 Cloud Data Fusion 인스턴스에 연결하는 데 추가 구성이 필요하지 않습니다. SAP 시스템과 Cloud Data Fusion 인스턴스는 동일한 프로젝트 내에 있어야 합니다.

1단계: Cloud Data Fusion 환경 설정

플러그인에 맞게 Cloud Data Fusion 환경을 구성하려면 다음 안내를 따르세요.

  1. Google Cloud Console에서 Cloud Data Fusion 인스턴스 페이지를 엽니다.

    인스턴스로 이동

  2. 원하는 인스턴스를 선택합니다.

    인스턴스 세부정보 페이지가 열립니다.

  3. 인스턴스가 버전 6.4.0 이상으로 업그레이드되었는지 확인합니다. 인스턴스가 이전 버전인 경우 업그레이드해야 합니다.

  4. 인스턴스를 엽니다. Cloud Data Fusion UI가 열리면 허브를 클릭합니다.

  5. SAP> SAP OData를 선택합니다.

    SAP 탭이 표시되지 않으면 SAP 통합 문제 해결을 참조하세요.

  6. SAP OData 플러그인 배포를 클릭합니다.

    이제 스튜디오 페이지의 소스 메뉴에 플러그인이 표시됩니다.

    Data Fusion Studio 페이지의 소스 메뉴에 있는 OData

2단계: 플러그인 구성

SAP OData 플러그인이 SAP DataSource의 콘텐츠를 읽습니다.

레코드를 필터링하려면 SAP OData 속성 페이지에서 다음 속성을 구성할 수 있습니다.

속성 이름 설명
베이직
참조 이름 계보, 주석 추가 메타데이터 등 이 소스를 고유하게 식별하는 데 사용되는 이름입니다.
SAP OData 기본 URL SAP Gateway OData Base URL(SAP 게이트웨이 OData Base URL)
OData 버전 지원되는 SAP OData 버전
서비스 이름: 항목을 추출할 SAP OData 서비스의 이름
항목 이름 추출되는 항목의 이름
Get Schema(스키마 가져오기) 버튼 SAP의 메타데이터를 기반으로 SAP에서 스키마를 생성하고 SAP 데이터 유형을 해당 Cloud Data Fusion 데이터 유형에 자동으로 매핑합니다(Validate(유효성 검사) 버튼과 동일한 기능).
사용자 인증 정보*
SAP 유형 기본(사용자 이름 및 비밀번호 사용)
SAP 로그온 사용자 이름 SAP 사용자 이름
권장: SAP 로그온 사용자 이름이 주기적으로 변경되는 경우 매크로를 사용합니다.
SAP 로그온 비밀번호 SAP 사용자 비밀번호
권장: 비밀번호와 같은 민감한 값에는 보안 매크로를 사용합니다.
SAP X.509 클라이언트 인증서
(ABAP용 SAP NetWeaver 애플리케이션 서버에서 X.509 클라이언트 인증서 사용 참조)
GCP 프로젝트 ID 프로젝트의 전역 고유 식별자입니다. X.509 인증서 Cloud Storage 경로 필드에 매크로 값이 포함되지 않은 경우 이 필드가 필수입니다.
GCS 경로 요구사항에 따른 보안 호출의 SAP 애플리케이션 서버에 해당하는 사용자 업로드 X.509 인증서가 포함된 Cloud Storage 버킷 경로(연결 보호 단계를 참조하세요.)
암호 제공된 X.509 인증서에 해당하는 암호
고급
필터링 옵션 필드를 읽어야 하는 값을 나타냅니다. 이 필터 조건을 사용하여 출력 데이터 볼륨을 제한합니다. 예를 들어 `Price Gt 200`은 `Price` 필드 값이 `200`을 초과하는 레코드를 선택합니다. (SAP 카탈로그 서비스에 대해 필터링 가능한 열 목록 가져오기를 참조하세요.)
필드 선택 추출된 데이터에 보존할 필드(예: 카테고리, 가격, 이름, 공급업체/주소)
필드 확장 추출된 출력 데이터에서 확장할 복합 필드 목록(예: 제품/공급업체)
건너뛸 행 수 건너뛸 총 행 수입니다(예: 10).
가져올 행 수 추출할 총 행 수
생성할 분할 수 입력 데이터를 분할하는 데 사용되는 분할 수입니다. 분할 수가 많을수록 동시 로드 수준이 늘어나지만 리소스와 오버헤드가 더 많이 필요합니다.
온프레미스 SAP 시스템의 경우 지정하지 않았으면 기본적으로 SAP에서 사용 가능한 대화상자 작업 프로세스의 50%로 설정됩니다. 지정하면 지정한 것과 SAP에서 사용 가능한 작업 프로세스의 50% 사이에서 최적화됩니다.
SAP 클라우드의 경우 지정하지 않았으면 기본적으로 7로 설정됩니다. 지정한 숫자가 기본값보다 우선 적용됩니다.
배치 크기 SAP에 대한 각 네트워크 호출에서 가져올 행 수입니다. 크기가 작으면 네트워크 호출이 자주 발생하여 관련 오버헤드가 반복됩니다. 크기가 크면 데이터 검색 속도가 느려지고 SAP에서 리소스가 과도하게 사용될 수 있습니다. 값이 0으로 설정된 경우 기본값이 2500이고 각 배치에서 가져올 행 수가가 5000으로 제한됩니다.

* 사용자 인증 정보 속성에서 매크로가 지원됩니다. 이를 사용해서 SAP 연결을 중앙에서 관리할 수 있습니다. 예를 들어 런타임 매개변수 또는 Argument Setter 플러그인을 사용하여 런타임에 값을 설정할 수 있습니다.

지원되는 OData 유형

다음 표에서는 SAP 애플리케이션과 Cloud Data Fusion 데이터 유형에 사용되는 OData v2 데이터 유형 간의 매핑을 보여줍니다.

OData 유형 설명(SAP) Cloud Data Fusion 데이터 유형
숫자
SByte 부호 있는 8비트 정수 값 int
바이트 부호 없는 8비트 정수 값 int
Int16 부호 있는 16비트 정수 값 int
Int32 부호 있는 32비트 정수 값 int
Int64 문자 'L'이 추가된 부호 있는 64비트 정수 값입니다.
예: 64L, -352L
long
단일 대략 ±1.18e -38 ~ ± 3.40e +38 범위의 값을 나타낼 수 있는 7자리 정밀도의 부동 소수점 수이며 문자 'f'가 추가됩니다.
예: 2.0f
float
Double 대략 ±2.23e -308 ~ ±1.79e +308 범위의 값을 나타낼 수 있는 15자리 정밀도의 부동 소수점 수이며 문자 'd'가 추가됩니다.
예: 1E+10d, 2.029d, 2.0d
double
십진수 음수 10^255 + 1부터 양수 10^255 -1 범위의 숫자 값을 설명하는 고정된 정밀도 및 비율이 있는 숫자 값이며 'M' 또는 'm' 문자가 추가됩니다.
예:2.345M
decimal
문자
Guid 16바이트(128비트) 고유 식별자 값으로, 문자 'guide'로 시작합니다.
예: guid'12345678-aaaa-bbbb-cccc-ddddeeeeffff'
string
문자열 UTF-8로 인코딩된 고정 또는 가변 길이 문자 데이터 string
바이트
바이너리 'X' 또는 '바이너리'로 시작하는 고정 또는 가변 길이 바이너리 데이터(둘 다 대소문자를 구분합니다.)
예: X'23AB', binary'23ABFF'
bytes
논리
부울 이진 값 논리의 수학 개념 boolean
날짜/시간
날짜/시간 값이 1753년 1월 1일 오전 12:00:00부터 9999년 12월 31일 오후 11:59:59까지인 날짜 및 시간입니다. timestamp
시간 0:00:00.x~23:59:59.y 사이의 값이 포함된 일 중 시간입니다. 여기서 'x'와 'y'는 정밀도에 따라 달라집니다. time
DateTimeOffset 날짜 및 시간은 오프셋으로(GMT 기준, 분) 1753년 1월 1일 오전 12:00:00부터 9999년 12월 31일 오후 11:59:59까지입니다. timestamp
단지
탐색 및 비탐색 속성(다중성 = *) 일대다 다중 유형으로 구성된 간단한 유형의 컬렉션 array,
string,
int
속성(다중성 = 0.1) 일대일 다중성을 갖는 다른 복잡한 유형에 대한 참조 record

검증

오른쪽 상단에서 유효성 검사 또는 스키마 가져오기를 클릭합니다.

플러그인은 속성의 유효성을 검사하고 SAP의 메타데이터를 기반으로 스키마를 생성합니다. SAP 데이터 유형을 해당하는 Cloud Data Fusion 데이터 유형에 자동으로 매핑합니다.

데이터 파이프라인 실행

  1. 파이프라인을 배포한 후 상단 중앙 패널에서 구성을 클릭합니다.
  2. 리소스를 선택합니다.
  3. 필요한 경우 파이프라인에 사용되는 전체 데이터 크기와 변환 수를 기반으로 실행자 CPU메모리를 변경합니다.
  4. 저장을 클릭합니다.
  5. 데이터 파이프라인을 시작하려면 실행을 클릭합니다.

성능

플러그인은 Cloud Data Fusion의 동시 로드 기능을 사용합니다. 다음 가이드라인은 런타임 환경을 구성하여 원하는 수준의 동시 로드와 성능을 얻기 위해 충분한 리소스를 런타임 엔진에 제공하는 데 도움이 됩니다.

플러그인 구성 최적화

권장: SAP 시스템의 메모리 설정에 익숙하지 않은 경우 생성할 분할 수배치 크기를 빈 칸(미지정)으로 둡니다.

파이프라인 실행 시 성능을 높이려면 다음 구성을 사용합니다.

  • 생성할 분할 수: 8~16 사이의 값이 권장됩니다. 하지만 SAP 측의 적절한 구성에 따라 32 또는 심지어 64까지 증가할 수 있습니다(SAP의 작업 프로세스에 대해 적절한 메모리 리소스 할당). 이 구성은 Cloud Data Fusion 측의 동시 로드를 향상시켜 줍니다. 런타임 엔진은 레코드를 추출하는 동안 지정된 수의 파티션(및 SAP 연결)을 만듭니다.

    • SAP 온프레미스 시스템: 지정하지 않으면 SAP에서 사용 가능한 대화상자 작업 프로세스의 50%로 기본 설정됩니다. 지정하면 지정한 것과 SAP에서 사용 가능한 작업 프로세스의 50% 사이에서 최적화됩니다.

    • SAP 클라우드 시스템: 지정하지 않으면 기본적으로 7로 설정됩니다. 지정한 숫자가 우선 적용됩니다.

    • 온프레미스 및 클라우드 시스템: 추출할 레코드 수가 2500보다 작으면 분할 수가 1입니다.

  • 배치 크기: SAP에 대한 모든 네트워크 호출에서 가져올 레코드 수입니다. 배치 크기가 작을수록 네트워크 호출이 자주 발생하여 관련 오버헤드가 반복됩니다. 기본적으로 최솟값 수는 1000이고 최댓값은 50000입니다.

자세한 내용은 OData 항목 제한을 참조하세요.

Cloud Data Fusion 리소스 설정

권장: 실행자당 1 CPU와 4 GB의 메모리를 사용합니다(이 값은 각 실행자 프로세스에 적용됨). 구성 > 리소스 대화상자에서 설정합니다.

Cloud Data Fusion 구성 창에서 리소스 설정 최적화

Dataproc 클러스터 설정

권장: 작업자 간에 총 CPU를 원래 분할 수보다 많이 할당합니다(플러그인 구성 참조).

각 작업자는 Dataproc 설정에서 메모리가 CPU당 6.5GB 이상 할당되어야 합니다. 즉, Cloud Data Fusion 실행자당 4GB 이상을 사용할 수 있어야 합니다. 다른 설정은 기본값으로 둘 수 있습니다.

권장: 영구 Dataproc 클러스터를 사용하여 데이터 파이프라인 런타임을 줄입니다. 그러면 몇 분 이상 걸릴 수 있는 프로비저닝 단계가 제거됩니다. Compute Engine 구성 섹션에서 이를 설정합니다.

샘플 구성 및 처리량

샘플 개발 및 테스트 구성

  • 각각 4개의 CPU와 26GB의 메모리를 사용하는 8개의 작업자가 있는 Dataproc 클러스터. 생성할 분할 수를 최대 28까지 사용합니다.
  • 각각 8개의 CPU와 52GB의 메모리를 사용하는 2개의 작업자가 있는 Dataproc 클러스터. 생성할 분할 수를 최대 12까지 사용합니다.

샘플 프로덕션 구성 및 처리량

  • 각각 8개의 CPU와 32GB의 메모리를 사용하는 8개의 작업자가 있는 Dataproc 클러스터. 최대 32개(사용 가능한 총 CPU의 절반)에 해당하는 생성할 분할 수를 사용합니다.
  • 각각 8개의 CPU와 32GB의 메모리를 사용하는 16개의 작업자가 있는 Dataproc 클러스터. 최대 64개(사용 가능한 총 CPU의 절반)에 해당하는 생성할 분할 수를 사용합니다.

SAP S4HANA 1909 프로덕션 소스 시스템의 샘플 처리량

다음 표에서는 샘플 처리량을 보여줍니다. 특별히 지정되지 않은 한 표시된 처리량은 필터 옵션을 포함하지 않습니다. 필터 옵션을 사용하면 처리량이 줄어듭니다.

배치 크기 분할 OData 서비스 전체 행 수 추출된 행 처리량(초당 행 수)
1000 4 ZACDOCA_CDS 537만 개 537만 개 1069
2500 10 ZACDOCA_CDS 537만 개 537만 개 3384
5000 8 ZACDOCA_CDS 537만 개 537만 개 4630
5000 9 ZACDOCA_CDS 537만 개 537만 개 4817

SAP S4HANA 클라우드 프로덕션 소스 시스템의 샘플 처리량

배치 크기 분할 OData 서비스 전체 행 수 추출된 행 처리량(GB/시간)
2500 40 TEST_04_UOM_ODATA_CDS/ 2억 100만개 1,000만 개 25.48
5000 50 TEST_04_UOM_ODATA_CDS/ 2억 100만개 1,000만 개 26.78

FAQ

지원되는 SAP 제품과 버전은 무엇인가요?

지원되는 소스로는 SAP S4/HANA 1909 이상, SAP 클라우드 기반 S4/HANA, OData 서비스를 노출할 수 있는 SAP 애플리케이션이 있습니다.

어떤 SAP OData 버전이 지원되나요?

OData 버전 2가 지원됩니다.

어떤 SAP 배포 모델이 지원되나요?

플러그인은 Google Cloud에 배포된 SAP S/4HANA 서버로 테스트되었습니다.

추출에 지원되는 SAP OData Catalog 서비스 유형은 무엇인가요?

플러그인은 다음 DataSource 유형을 지원합니다.

  • 거래 데이터
  • OData를 통해 노출된 CDS 뷰
  • 마스터 데이터

    • 속성
    • 텍스트
    • 계층 구조

이 플러그인을 사용하기 전에 구현해야 하는 SAP Note가 있나요?

아니요. 하지만 SAP 시스템에서 SAP 게이트웨이를 사용할 수 있어야 합니다. 자세한 내용은 Note 1560585를 참조하세요. 이 외부 사이트에는 SAP 로그인이 필요합니다.

데이터 볼륨 또는 레코드 너비에 제한이 있나요?

추출되는 데이터 볼륨에는 정의된 한도가 없습니다. 1KB 레코드 너비를 사용해서 한 번의 호출에서 최대 6백만 개의 행을 추출하여 테스트했습니다. 클라우드 SAP S4/HANA에서는 1KB 레코드 너비를 사용해서 한 번의 호출에서 최대 1억 개의 행을 추출하여 테스트했습니다.

예상되는 플러그인 처리량은 얼마인가요?

성능 섹션의 가이드라인에 따라 구성된 환경의 경우 플러그인이 시간당 약 38GB를 추출할 수 있습니다. 실제 성능은 Cloud Data Fusion 및 SAP 시스템 로드 또는 네트워크 트래픽에 따라 달라질 수 있습니다.

델타(변경된 데이터) 추출이 지원되나요?

아니요, 이 플러그인에서 델타 추출이 지원되지 않습니다.

오류 시나리오

런타임 시 플러그인은 Cloud Data Fusion 데이터 파이프라인 로그에 로그 항목을 작성합니다. 이 항목에는 쉽게 식별할 수 있도록 CDF_SAP 프리픽스가 붙습니다.

설계 시 플러그인 설정을 검증하면 메시지가 속성 탭에 표시되고 빨간색으로 강조 표시됩니다.

다음 표는 일반적인 오류 메시지를 보여줍니다(런타임 시 의 텍스트가 실제 값으로 대체됨).

메시지 ID 메시지 권장 작업
없음 연결 유형 ''의 필수 속성 ''입니다. 실제 값 또는 매크로 변수를 입력하세요.
없음 속성 '에 대한 값이 잘못됨 음수가 아닌 정수(소수점 없는 0 이상의 값) 또는 매크로 변수를 입력합니다.
CDF_SAP_ODATA_01505 Cloud Data Fusion 출력 스키마를 준비하지 못했습니다. 제공된 런타임 매크로 값을 확인하세요. 제공된 매크로 값이 올바른지 확인합니다.
N/A SAP X509 인증 '<UI input in GCS Path>'가 누락되었습니다. 필요한 X509 인증서가 지정된 Google Cloud Storage 버킷 '<GCS 버킷 이름>'에 업로드되었는지 확인합니다. 제공된 GCS 경로가 올바른지 확인합니다.
CDF_SAP_ODATA_01532 SAP OData 연결 문제와 관련된 일반 오류 코드
지정된 SAP OData 서비스를 호출하지 못했습니다. 근본 원인: <SAP OData 서비스 근본 원인 메시지>
메시지에 표시된 근본 원인을 확인하고 적절한 조치를 취합니다.
CDF_SAP_ODATA_01534 SAP OData 서비스 오류와 관련된 일반 오류 코드입니다.
서비스를 검증하지 못했습니다. 근본 원인: AP OData 서비스 근본 원인 메시지>
메시지에 표시된 근본 원인을 확인하고 적절한 조치를 취합니다.
CDF_SAP_ODATA_01503 <SAP OData 서비스 항목 이름>에서 사용 가능한 총 레코드 수를 가져올 수 없습니다. 근본 원인: <SAP Odata 서비스 근본 원인 메시지> 메시지에 표시된 근본 원인을 확인하고 적절한 조치를 취합니다.
CDF_SAP_ODATA_01506 <SAP OData 서비스 항목 이름>에서 추출할 레코드를 찾을 수 없습니다. 제공된 항목에 레코드가 있는지 확인하세요. 메시지에 표시된 근본 원인을 확인하고 적절한 조치를 취합니다.
CDF_SAP_ODATA_01537 <SAP OData 서비스 항목 이름>의 레코드를 처리할 수 없습니다. 근본 원인: <SAP OData 서비스 근본 원인 메시지> 메시지에 표시된 근본 원인을 확인하고 적절한 조치를 취합니다.
CDF_SAP_ODATA_01536 <SAP OData 서비스 항목 이름>에서 레코드를 가져올 수 없습니다. 근본 원인: <SAP OData 서비스 근본 원인 메시지> 메시지에 표시된 근본 원인을 확인하고 적절한 조치를 취합니다.
CDF_SAP_ODATA_01504 지정된 OData 서비스 <SAP OData 서비스 이름>의 인코딩된 메타데이터 문자열을 생성할 수 없습니다. 근본 원인: <SAP OData 서비스 근본 원인 메시지> 메시지에 표시된 근본 원인을 확인하고 적절한 조치를 취합니다.
CDF_SAP_ODATA_01533 <SAP OData 서비스 이름> 서비스의 인코딩된 메타데이터 문자열에서 메타데이터를 디코딩할 수 없습니다. 근본 원인: <SAP OData 서비스 근본 원인 메시지> 메시지에 표시된 근본 원인을 확인하고 적절한 조치를 취합니다.

다음 단계