火花环境(Watson Studio)
如果您的笔记本包括竞彩篮球 API,或者您想要创建机器学习模型或使用竞彩篮球 Runtims的模型流,则需要将工具与竞彩篮球服务或环境相关联。使用竞彩篮球环境,您可以配置竞彩篮球驱动程序的大小和执行器的大小和数量。
服务 默认情况下,可能无法使用竞彩篮球环境。管理员必须在IBM Cloud Pak上安装Apache 竞彩篮球 Service的Analtics引擎,用于数据平台。要确定是否已安装服务,请打开服务目录并检查是否已启用服务。
默认环境定义
您可以使用默认的竞彩篮球环境定义,以便在Watson Studio Tools中快速使用竞彩篮球 Notebooks,而无需创建您自己的环境定义。默认环境定义列在项目中 环境 page.
姓名 | 硬件配置 |
---|---|
Default 竞彩篮球 3.0 & Python 3.7 |
2个执行器每个:1 VCPU和4 GB RAM; 司机:1 VCPU和4 GB RAM |
Default 竞彩篮球 2.4 & Python 3.7 |
2个执行器每个:1 VCPU和4 GB RAM; 司机:1 VCPU和4 GB RAM |
Default 竞彩篮球 2.4 & Python 3.6 |
2个执行器每个:1 VCPU和4 GB RAM; 司机:1 VCPU和4 GB RAM |
Default 竞彩篮球 3.0 & R 3.6 |
2个执行器每个:1 VCPU和4 GB RAM; 司机:1 VCPU和4 GB RAM |
Default 竞彩篮球 2.4 & R 3.6 |
2个执行器每个:1 VCPU和4 GB RAM; 司机:1 VCPU和4 GB RAM |
Default 竞彩篮球 3.0 & Scala 2.12 |
2个执行器每个:1 VCPU和4 GB RAM; 司机:1 VCPU和4 GB RAM |
Default 竞彩篮球 2.4 & Scala 2.11 |
2个执行器每个:1 VCPU和4 GB RAM; 司机:1 VCPU和4 GB RAM |
当您在竞彩篮球环境中运行笔记本时,您希望能够消耗环境定义的硬件配置中提到的资源量。但是,您将观察到您正在消耗更多的资源,而不是您期望的资源。原因是需要为Jupyter Enterprise Gateway,竞彩篮球 Master和竞彩篮球 Worker Daemons分配额外资源。这些额外的资源为1 VCPU和2 GB的RAM对于驱动程序和每个执行程序的1 GB RAM。
As an example: if you create a notebook and select Default 竞彩篮球 3.0 & Python 3.7
, the 竞彩篮球 cluster will consume 3 vCPU and 12 GB RAM but, as 1 vCPU and 4 GB RAM are required for the extra resources, the total resource consumption will be 4 vCPU and 16 GB RAM.
笔记本和火花环境
创建笔记本时,您可以选择您希望笔记本运行的火花运行时。您可以选择默认的火花环境定义或从中创建的竞彩篮球环境定义 环境 项目页面。
您可以创建多个笔记本并选择相同的火花环境定义。与环境关联的每个笔记本都有自己的专用火花群,没有共享资源。例如,如果您使用相同的火花环境定义创建两个笔记本电脑,则启动两个火花群集群,每个笔记本电脑一个,这意味着每个笔记本都有自己的火花驱动程序和一组火花执行器。
竞彩篮球集群上的文件系统
If you want to share files across executors and the driver or kernel of a 竞彩篮球 cluster, you can use the shared file system at /home/spark/shared
.
If you want to use your own custom libraries, you can store them under /home/spark/shared/user-libs/
. There are four subdirectories under /home/spark/shared/user-libs/
that are pre-configured to be made available to Python, R and Scala or Java runtimes.
以下表列出了预配置的子目录,您可以在其中添加自定义诽谤。
目录 | 图书馆的类型 |
---|---|
/home/spark/shared/user-libs/python3/ |
Python 3库 |
/home/spark/shared/user-libs/R/ |
R包 |
/home/spark/shared/user-libs/spark2/ |
java或scala jar文件 |
分享竞彩篮球驱动程序和执行者的库:
- 将自定义库或JAR文件下载到相应的预配置目录。
- 单击从笔记本菜单中重新启动内核 核心> Restart Kernel。这会以竞彩篮球s加载您的自定义库或JAR文件。
请注意,这些库不持久。当您停止环境运行时并再次重新启动它时,您需要再次加载库。