在pyspark-notebook docker容器上运行magellan

Question

我正通过docker工具箱在我的Windows7机器上运行jupyter/pyspark-notebook。

我的start命令是：

docker run -it --rm --name ds -v /c/Users/<some-folder>:/home/jovyan/work/share -p 8888:8888 jupyter/pyspark-notebook start-notebook.sh

我要运行spark包，麦哲伦。在我运行的笔记本中：

import os
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages harsha2010:magellan:1.0.4-s_2.11  pyspark-shell'
import pyspark
sc = pyspark.SparkContext('local[*]')
from magellan.types import Point, Polygon

但是找不到模块magellan。

我遗漏了什么？

Answer 1

似乎在docker容器的Python中没有安装Magellan包。你可以在你的Jupyter Notebook中很容易做到这一点。只需在单元格中执行以下命令：

!pip install magellan