대화형 세션 및 세션 템플릿 만들기

Dataproc Serverless가 이제 Google Cloud Serverless for Apache Spark로 변경됩니다. 업데이트될 때까지 일부 문서에서는 이전 이름을 사용합니다.

이 페이지에서는 Apache Spark용 Dataproc Serverless 대화형 세션과 세션 템플릿을 만드는 방법을 보여줍니다. 세션 템플릿을 사용하여 세션 템플릿 구성을 기반으로 여러 대화형 세션을 만들 수 있습니다.

참고: Apache Spark용 Dataproc Serverless 대화형 세션은 대화형 노트북과 연결됩니다. Jupyter 노트북에서 세션을 사용하는 예는 서버리스 일괄 및 대화형 노트북 세션에 Dataproc JupyterLab 플러그인 사용을 참고하세요. BigQuery Studio 노트북에서 세션을 사용하는 예는 BigQuery Studio 노트북에서 PySpark 코드 실행을 참고하세요.

대화형 세션 만들기

Google Cloud CLI 또는 Dataproc API를 사용하여 Apache Spark용 서버리스 Interactive 세션을 만들 수 있습니다.

gcloud

gcloud beta dataproc sessions create command SESSION_NAME를 사용하여 Apache Spark용 Dataproc Serverless 대화형 세션을 만들 수 있습니다.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

다음을 바꾸거나 추가합니다.

• SESSION_ID: (필수사항) 세션의 ID입니다.

• REGION: (필수사항) 세션을 배치할 수 있는 사용 가능한 리전입니다.

• --version: 선택사항입니다. 지원되는 Spark 런타임 버전 이 플래그를 사용하여 버전을 지정하지 않으면 현재 기본 Spark 런타임 버전이 사용됩니다.

• --container-image: 선택사항입니다. 세션에 사용할 커스텀 컨테이너 이미지입니다.

• --property: 선택사항입니다. 세션의 Spark 속성(쉼표로 구분)이 하나 이상입니다.

• --service-account: 선택사항입니다. 세션에 사용할 서비스 계정입니다. 지정하지 않으면 Compute Engine 기본 서비스 계정이 사용됩니다.

• --subnet: 선택사항입니다. 세션 리전의 서브넷 이름입니다. 지정하지 않으면 Apache Spark용 서버리스가 세션 리전의 default 서브넷을 사용합니다. Apache Spark용 서버리스는 서브넷에서 비공개 Google 액세스 (PGA)를 사용 설정합니다. 네트워크 연결 요구사항은 Google Cloud Apache Spark용 서버리스 네트워크 구성을 참고하세요.

REST

Dataproc sessions.create API를 사용하여 Apache Spark용 Serverless Interactive 세션을 만들 수 있습니다.

참고:

• name: 필수입니다. 세션 이름입니다.

• version: 선택사항입니다. 세션에 지원되는 Spark 런타임 버전 버전을 지정하지 않으면 현재 기본 버전이 사용됩니다.

• containerImage: 선택사항입니다. 세션에 사용할 커스텀 컨테이너 이미지입니다.

• properties: 선택사항입니다. 세션 속성 이름과 값의 매핑입니다. Spark 속성을 참고하세요.

• serviceAccount: 선택사항입니다. 세션을 실행하는 데 사용할 서비스 계정입니다. 지정하지 않으면 Compute Engine 기본 서비스 계정이 사용됩니다.

• subnetworkUri: 선택사항입니다. 세션 리전의 서브넷 이름입니다. 지정하지 않으면 Apache Spark용 서버리스가 세션 리전의 default 서브넷을 사용합니다. Apache Spark용 서버리스는 서브넷에서 비공개 Google 액세스 (PGA)를 사용 설정합니다. 네트워크 연결 요구사항은 Google Cloud Apache Spark용 서버리스 네트워크 구성을 참고하세요.

세션 템플릿 만들기

Apache Spark용 서버리스 세션 템플릿은 하나 이상의 Apache Spark용 서버리스 대화형 세션을 만들기 위한 구성 설정을 정의합니다. Google Cloud 콘솔, gcloud CLI 또는 Dataproc API를 사용하여 Jupyter 또는 Spark Connect 세션의 Apache Spark용 서버리스 세션 템플릿을 만들 수 있습니다.

참고: Apache Spark용 서버리스 세션 템플릿에서 BigQuery Studio 노트북의 세션을 만들 수 있습니다. 이 섹션에서는 BigQuery Studio 노트북에서 사용할 템플릿을 구성하는 방법을 설명합니다.

콘솔

Google Cloud 콘솔을 사용하여 Apache Spark용 서버리스 세션 템플릿을 만들려면 다음 단계를 완료하세요.

1. Google Cloud 콘솔에서 세션 템플릿 페이지로 이동합니다.

   세션 템플릿으로 이동

   1. 만들기를 클릭합니다.

2. 세션 템플릿 만들기 페이지에서 템플릿 구성 설정을 입력하거나 확인합니다. 다음에 유의하세요.

   • 템플릿 런타임 ID: 필수입니다. 기본 ID (이름)를 그대로 사용하거나 템플릿 런타임 이름을 지정합니다.
   • Region: 필수입니다. 기본 리전을 수락하거나 템플릿 세션에 사용 가능한 리전을 지정합니다.
   • 런타임 버전: 선택사항입니다. 선택 가능한 세션 런타임은 Apache Spark용 서버리스 런타임 버전에 해당합니다.
     • BigQuery Studio 노트북 세션 요구사항: BigQuery Studio 노트북 Spark Connect 세션에 사용할 템플릿을 만드는 경우 Spark 런타임 버전 2.3 이상을 사용해야 합니다.
   • 템플릿 구성 유형: 필수입니다. 유형을 선택합니다. Jupyter을 선택한 경우 표시 이름을 지정하고 Jupyter 커널 유형을 선택합니다. Apache Spark용 서버리스에서 Jupyter 노트북 실행도 참고하세요.
     • BigQuery Studio 노트북 세션 요구사항: BigQuery Studio 노트북 세션은 Spark Connect를 템플릿 구성 유형으로 지정해야 합니다.
   • 서비스 계정: 선택사항입니다. 템플릿 세션을 실행하는 데 사용할 서비스 계정입니다. 지정하지 않으면 Compute Engine 기본 서비스 계정이 사용됩니다.
   • 맞춤 컨테이너 이미지: 선택사항입니다. 템플릿 세션에 사용할 커스텀 컨테이너 이미지
   • 속성: 선택사항입니다. 템플릿 세션에 설정할 각 속성에 대해 항목 추가를 클릭합니다. 자세한 내용은 Spark 속성을 참고하세요.
   • 네트워크 구성: 필수입니다. 세션 리전에서 서브네트워크를 선택합니다. Apache Spark용 서버리스는 지정된 서브넷에서 비공개 Google 액세스 (PGA)를 사용 설정합니다. 네트워크 연결 요구사항은 Google Cloud Apache Spark용 서버리스 네트워크 구성을 참고하세요.

3. 제출을 클릭하여 세션 템플릿을 만듭니다.

gcloud

gcloud CLI를 사용하여 Apache Spark용 서버리스 세션 템플릿을 직접 만들 수는 없지만 gcloud beta dataproc session-templates import 명령어를 사용하여 기존 세션 템플릿을 가져올 수 있습니다. 가져온 템플릿을 수정한 후 gcloud beta dataproc session-templates export 명령어를 사용하여 내보낼 수 있습니다.

REST

Dataproc sessionTemplates.create API를 사용하여 Apache Spark용 서버리스 세션 템플릿을 만들 수 있습니다.

참고:

• name: 필수입니다. 세션 템플릿 이름입니다.

• version: 선택사항입니다. 템플릿 세션에 지원되는 Spark 런타임 버전 중 하나 버전을 지정하지 않으면 기본 버전이 사용됩니다.

  • BigQuery Studio 노트북 세션 요구사항: BigQuery Studio 노트북 Spark Connect 세션에 사용할 템플릿을 만드는 경우 Spark 런타임 버전 2.3 이상을 사용해야 합니다.

• sessionConfig: jupyter_session 또는 spark_connect_session를 지정합니다. jupyter_session를 지정하는 경우 JupyterConfig.display_name 및 JupyterConfig.kernel도 지정합니다. Apache Spark용 서버리스에서 Jupyter 노트북 실행도 참고하세요.

  • BigQuery Studio 노트북 세션 요구사항: BigQuery Studio 노트북 세션은 Spark Connect를 템플릿 구성 유형으로 지정해야 합니다.

• containerImage: 선택사항입니다. 템플릿 세션에 사용할 커스텀 컨테이너 이미지

• properties: 선택사항입니다. 세션 속성 이름과 값의 매핑입니다. Spark 속성을 참고하세요.

• serviceAccount: 선택사항입니다. 템플릿 세션을 실행하는 데 사용할 서비스 계정 지정하지 않으면 Compute Engine 기본 서비스 계정이 사용됩니다.

• subnetworkUri: 선택사항입니다. 세션 리전의 서브넷 이름입니다. 지정하지 않으면 Apache Spark용 서버리스가 세션 리전의 default 서브넷을 사용합니다. Apache Spark용 서버리스는 서브넷에서 비공개 Google 액세스 (PGA)를 사용 설정합니다. 네트워크 연결 요구사항은 Google Cloud Apache Spark용 서버리스 네트워크 구성을 참고하세요.