REST Resource: projects.locations.batches

리소스: 일괄 처리

서비스의 일괄 워크로드를 나타냅니다.

JSON 표현 
{
  "name": string,
  "uuid": string,
  "createTime": string,
  "runtimeInfo": {
    object (RuntimeInfo)
  },
  "state": enum (State),
  "stateMessage": string,
  "stateTime": string,
  "creator": string,
  "labels": {
    string: string,
    ...
  },
  "runtimeConfig": {
    object (RuntimeConfig)
  },
  "environmentConfig": {
    object (EnvironmentConfig)
  },
  "operation": string,
  "stateHistory": [
    {
      object (StateHistory)
    }
  ],

  // Union field batch_config can be only one of the following:
  "pysparkBatch": {
    object (PySparkBatch)
  },
  "sparkBatch": {
    object (SparkBatch)
  },
  "sparkRBatch": {
    object (SparkRBatch)
  },
  "sparkSqlBatch": {
    object (SparkSqlBatch)
  }
  // End of list of possible types for union field batch_config.
}
필드
name

string

출력 전용입니다. 일괄 처리의 리소스 이름입니다.
uuid

string

출력 전용입니다. 일괄 UUID (고유 범용 식별자) 서비스는 일괄 처리를 만들 때 이 값을 생성합니다.
createTime

string (Timestamp format)

출력 전용입니다. 일괄 처리가 생성된 시간입니다.

RFC3339 UTC 'Zulu' 형식의 타임스탬프입니다(나노초 단위, 소수점 이하 9자리). 예를 들면 "2014-10-02T15:01:23Z" 및 "2014-10-02T15:01:23.045123456Z"입니다.
runtimeInfo

object (RuntimeInfo)

출력 전용입니다. 일괄 실행에 관한 런타임 정보입니다.
state

enum (State)

출력 전용입니다. 배치의 상태입니다.
stateMessage

string

출력 전용입니다. 일괄 처리 상태 세부정보(예: 상태가 FAILED인 경우 실패 설명)
stateTime

string (Timestamp format)

출력 전용입니다. 일괄 처리가 현재 상태로 전환된 시간입니다.

RFC3339 UTC 'Zulu' 형식의 타임스탬프입니다(나노초 단위, 소수점 이하 9자리). 예를 들면 "2014-10-02T15:01:23Z" 및 "2014-10-02T15:01:23.045123456Z"입니다.
creator

string

출력 전용입니다. 일괄 처리를 만든 사용자의 이메일 주소입니다.
labels

map (key: string, value: string)

선택사항입니다. 이 일괄 처리와 연결할 라벨입니다. 라벨 키는 1~63자(영문 기준)여야 하며 RFC 1035를 준수해야 합니다. 라벨 값은 비어 있을 수 있지만, 있는 경우 1~63자(영문 기준)여야 하며 RFC 1035를 준수해야 합니다. 일괄 처리와 연결할 수 있는 라벨은 32개 미만입니다.

"key": value 쌍 목록을 포함하는 객체입니다. 예: { "name": "wrench", "mass": "1.3kg", "count": "3" }
runtimeConfig

object (RuntimeConfig)

선택사항입니다. 일괄 실행의 런타임 구성입니다.
environmentConfig

object (EnvironmentConfig)

선택사항입니다. 일괄 실행의 환경 구성입니다.
operation

string

출력 전용입니다. 이 일괄 처리와 연결된 작업의 리소스 이름입니다.
stateHistory[]

object (StateHistory)

출력 전용입니다. 일괄 처리의 이전 상태 정보입니다.
통합 필드 batch_config. 배치 구성의 애플리케이션/프레임워크별 부분입니다. batch_config은 다음 중 하나여야 합니다.
pysparkBatch

object (PySparkBatch)

선택사항입니다. PySpark 일괄 구성
sparkBatch

object (SparkBatch)

선택사항입니다. Spark 일괄 구성
sparkRBatch

object (SparkRBatch)

선택사항입니다. SparkR 일괄 구성
sparkSqlBatch

object (SparkSqlBatch)

선택사항입니다. SparkSql 일괄 구성

PySparkBatch

Apache PySpark 일괄 워크로드를 실행하기 위한 구성입니다.

JSON 표현 
{
  "mainPythonFileUri": string,
  "args": [
    string
  ],
  "pythonFileUris": [
    string
  ],
  "jarFileUris": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ]
}
필드
mainPythonFileUri

string

필수 입력란입니다. Spark 드라이버로 사용할 기본 Python 파일의 HCFS URI입니다. .py 파일이어야 합니다.
args[]

string

선택사항입니다. 드라이버에 전달할 인수입니다. 충돌이 발생하여 잘못된 일괄 제출이 발생할 수 있으므로 --conf와 같이 일괄 속성으로 설정할 수 있는 인수를 포함하지 마세요.
pythonFileUris[]

string

선택사항입니다. PySpark 프레임워크에 전달할 Python 파일의 HCFS 파일 URI입니다. 지원되는 파일 형식: .py, .egg, .zip
jarFileUris[]

string

선택사항입니다. Spark 드라이버 및 작업의 클래스 경로에 추가할 jar 파일의 HCFS URI입니다.
fileUris[]

string

선택사항입니다. 각 실행자의 작업 디렉터리에 배치할 파일의 HCFS URI입니다.
archiveUris[]

string

선택사항입니다. 각 실행자의 작업 디렉터리로 추출할 보관 파일의 HCFS URI입니다. 지원되는 파일 형식: .jar, .tar, .tar.gz, .tgz, .zip

SparkBatch

Apache Spark 일괄 워크로드를 실행하기 위한 구성입니다.

JSON 표현 
{
  "args": [
    string
  ],
  "jarFileUris": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ],

  // Union field driver can be only one of the following:
  "mainJarFileUri": string,
  "mainClass": string
  // End of list of possible types for union field driver.
}
필드
args[]

string

선택사항입니다. 드라이버에 전달할 인수입니다. 충돌이 발생하여 잘못된 일괄 제출이 발생할 수 있으므로 --conf와 같이 일괄 속성으로 설정할 수 있는 인수를 포함하지 마세요.
jarFileUris[]

string

선택사항입니다. Spark 드라이버 및 작업의 클래스 경로에 추가할 jar 파일의 HCFS URI입니다.
fileUris[]

string

선택사항입니다. 각 실행자의 작업 디렉터리에 배치할 파일의 HCFS URI입니다.
archiveUris[]

string

선택사항입니다. 각 실행자의 작업 디렉터리로 추출할 보관 파일의 HCFS URI입니다. 지원되는 파일 형식: .jar, .tar, .tar.gz, .tgz, .zip
통합 필드 driver. Spark 워크로드를 실행하기 위해 호출할 기본 메서드의 사양입니다. 기본 클래스가 포함된 jar 파일 또는 기본 클래스 이름을 지정합니다. 기본 jar와 해당 jar의 기본 클래스를 모두 전달하려면 jar를 jar_file_uris에 추가한 다음 main_class에서 기본 클래스 이름을 지정합니다. driver은 다음 중 하나여야 합니다.
mainJarFileUri

string

선택사항입니다. 기본 클래스가 포함된 jar 파일의 HCFS URI입니다.
mainClass

string

선택사항입니다. 드라이버 기본 클래스의 이름입니다. 클래스가 포함된 jar 파일이 클래스 경로에 있거나 jarFileUris에 지정되어야 합니다.

SparkRBatch

Apache SparkR 배치 워크로드를 실행하기 위한 구성입니다.

JSON 표현 
{
  "mainRFileUri": string,
  "args": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ]
}
필드
mainRFileUri

string

필수 입력란입니다. 드라이버로 사용할 기본 R 파일의 HCFS URI입니다. .R 또는 .r 파일이어야 합니다.
args[]

string

선택사항입니다. Spark 드라이버에 전달할 인수입니다. 충돌이 발생하여 잘못된 일괄 제출이 발생할 수 있으므로 --conf와 같이 일괄 속성으로 설정할 수 있는 인수를 포함하지 마세요.
fileUris[]

string

선택사항입니다. 각 실행자의 작업 디렉터리에 배치할 파일의 HCFS URI입니다.
archiveUris[]

string

선택사항입니다. 각 실행자의 작업 디렉터리로 추출할 보관 파일의 HCFS URI입니다. 지원되는 파일 형식: .jar, .tar, .tar.gz, .tgz, .zip

SparkSqlBatch

Apache Spark SQL 쿼리를 일괄 워크로드로 실행하기 위한 구성입니다.

JSON 표현 
{
  "queryFileUri": string,
  "queryVariables": {
    string: string,
    ...
  },
  "jarFileUris": [
    string
  ]
}
필드
queryFileUri

string

필수 입력란입니다. 실행할 Spark SQL 쿼리가 포함된 스크립트의 HCFS URI입니다.
queryVariables

map (key: string, value: string)

선택사항입니다. 쿼리 변수 이름을 값에 매핑합니다 (Spark SQL 명령어 SET name="value";와 동일).

"key": value 쌍 목록을 포함하는 객체입니다. 예: { "name": "wrench", "mass": "1.3kg", "count": "3" }
jarFileUris[]

string

선택사항입니다. Spark CLASSPATH에 추가할 jar 파일의 HCFS URI입니다.

주

일괄 처리 상태입니다.

열거형
STATE_UNSPECIFIED 일괄 처리 상태를 알 수 없습니다.
PENDING 일괄 처리는 실행 전에 생성됩니다.
RUNNING 일괄 처리가 실행 중입니다.
CANCELLING 일괄 처리가 취소되고 있습니다.
CANCELLED 일괄 취소가 완료되었습니다.
SUCCEEDED 일괄 처리가 완료되었습니다.
FAILED 오류로 인해 더 이상 일괄 처리가 실행되지 않습니다.

StateHistory

이전 상태 정보입니다.

JSON 표현 
{
  "state": enum (State),
  "stateMessage": string,
  "stateStartTime": string
}
필드
state

enum (State)

출력 전용입니다. 이 시점의 일괄 처리 상태입니다.
stateMessage

string

출력 전용입니다. 이 시점의 상태에 관한 세부정보입니다.
stateStartTime

string (Timestamp format)

출력 전용입니다. 일괄 처리가 이전 상태로 전환된 시간입니다.

RFC3339 UTC 'Zulu' 형식의 타임스탬프입니다(나노초 단위, 소수점 이하 9자리). 예를 들면 "2014-10-02T15:01:23Z" 및 "2014-10-02T15:01:23.045123456Z"입니다.

메서드

create

 비동기식으로 실행되는 일괄 워크로드를 만듭니다.

delete

 일괄 워크로드 리소스를 삭제합니다.

get

 일괄 워크로드 리소스 표현을 가져옵니다.

list

 일괄 워크로드를 나열합니다.