目录

火花环境(Watson Studio)

如果您的笔记本包括竞彩篮球 API,或者您想要创建机器学习模型或使用竞彩篮球 Runtims的模型流,则需要将工具与竞彩篮球服务或环境相关联。使用竞彩篮球环境,您可以配置竞彩篮球驱动程序的大小和执行器的大小和数量。

服务 默认情况下,可能无法使用竞彩篮球环境。管理员必须在IBM Cloud Pak上安装Apache 竞彩篮球 Service的Analtics引擎,用于数据平台。要确定是否已安装服务,请打开服务目录并检查是否已启用服务。

默认环境定义

您可以使用默认的竞彩篮球环境定义,以便在Watson Studio Tools中快速使用竞彩篮球 Notebooks,而无需创建您自己的环境定义。默认环境定义列在项目中 环境 page.

姓名 硬件配置
Default 竞彩篮球 3.0 & Python 3.7 2个执行器每个:1 VCPU和4 GB RAM;
司机:1 VCPU和4 GB RAM
Default 竞彩篮球 2.4 & Python 3.7 2个执行器每个:1 VCPU和4 GB RAM;
司机:1 VCPU和4 GB RAM
Default 竞彩篮球 2.4 & Python 3.6 2个执行器每个:1 VCPU和4 GB RAM;
司机:1 VCPU和4 GB RAM
Default 竞彩篮球 3.0 & R 3.6 2个执行器每个:1 VCPU和4 GB RAM;
司机:1 VCPU和4 GB RAM
Default 竞彩篮球 2.4 & R 3.6 2个执行器每个:1 VCPU和4 GB RAM;
司机:1 VCPU和4 GB RAM
Default 竞彩篮球 3.0 & Scala 2.12 2个执行器每个:1 VCPU和4 GB RAM;
司机:1 VCPU和4 GB RAM
Default 竞彩篮球 2.4 & Scala 2.11 2个执行器每个:1 VCPU和4 GB RAM;
司机:1 VCPU和4 GB RAM

当您在竞彩篮球环境中运行笔记本时,您希望能够消耗环境定义的硬件配置中提到的资源量。但是,您将观察到您正在消耗更多的资源,而不是您期望的资源。原因是需要为Jupyter Enterprise Gateway,竞彩篮球 Master和竞彩篮球 Worker Daemons分配额外资源。这些额外的资源为1 VCPU和2 GB的RAM对于驱动程序和每个执行程序的1 GB RAM。

As an example: if you create a notebook and select Default 竞彩篮球 3.0 & Python 3.7, the 竞彩篮球 cluster will consume 3 vCPU and 12 GB RAM but, as 1 vCPU and 4 GB RAM are required for the extra resources, the total resource consumption will be 4 vCPU and 16 GB RAM.

笔记本和火花环境

创建笔记本时,您可以选择您希望笔记本运行的火花运行时。您可以选择默认的火花环境定义或从中创建的竞彩篮球环境定义 环境 项目页面。

您可以创建多个笔记本并选择相同的火花环境定义。与环境关联的每个笔记本都有自己的专用火花群,没有共享资源。例如,如果您使用相同的火花环境定义创建两个笔记本电脑,则启动两个火花群集群,每个笔记本电脑一个,这意味着每个笔记本都有自己的火花驱动程序和一组火花执行器。

竞彩篮球集群上的文件系统

If you want to share files across executors and the driver or kernel of a 竞彩篮球 cluster, you can use the shared file system at /home/spark/shared.

If you want to use your own custom libraries, you can store them under /home/spark/shared/user-libs/. There are four subdirectories under /home/spark/shared/user-libs/ that are pre-configured to be made available to Python, R and Scala or Java runtimes.

以下表列出了预配置的子目录,您可以在其中添加自定义诽谤。

目录 图书馆的类型
/home/spark/shared/user-libs/python3/ Python 3库
/home/spark/shared/user-libs/R/ R包
/home/spark/shared/user-libs/spark2/ java或scala jar文件

分享竞彩篮球驱动程序和执行者的库:

  1. 将自定义库或JAR文件下载到相应的预配置目录。
  2. 单击从笔记本菜单中重新启动内核 核心> Restart Kernel。这会以竞彩篮球s加载您的自定义库或JAR文件。

请注意,这些库不持久。当您停止环境运行时并再次重新启动它时,您需要再次加载库。

下一步