如何在Google colab上永久安装Rapids？

Question

有没有办法在Google colab上永久安装Rapids？我在StackOverflow和其他网站上尝试了许多解决方案，但都不起作用。这是一个非常大的库，每次我想在colab上工作时下载它是非常令人沮丧的。

我尝试了Rapids的这段代码，但它也不起作用。当我关闭colab并稍后重新启动时，我得到ModuleNotFoundError: No module named 'cudf'.

# Install RAPIDS
!git clone https://github.com/rapidsai/rapidsai-csp-utils.git
!bash rapidsai-csp-utils/colab/rapids-colab.sh stable

import sys, os, shutil

sys.path.append('/usr/local/lib/python3.7/site-packages/')
os.environ['NUMBAPRO_NVVM'] = '/usr/local/cuda/nvvm/lib64/libnvvm.so'
os.environ['NUMBAPRO_LIBDEVICE'] = '/usr/local/cuda/nvvm/libdevice/'
os.environ["CONDA_PREFIX"] = "/usr/local"
for so in ['cudf', 'rmm', 'nccl', 'cuml', 'cugraph', 'xgboost', 'cuspatial']:
  fn = 'lib'+so+'.so'
  source_fn = '/usr/local/lib/'+fn
  dest_fn = '/usr/lib/'+fn
  if os.path.exists(source_fn):
    print(f'Copying {source_fn} to {dest_fn}')
    shutil.copyfile(source_fn, dest_fn)
# fix for BlazingSQL import issue
# ImportError: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.26' not found (required by /usr/local/lib/python3.7/site-packages/../../libblazingsql-engine.so)
if not os.path.exists('/usr/lib64'):
    os.makedirs('/usr/lib64')
for so_file in os.listdir('/usr/local/lib'):
  if 'libstdc' in so_file:
    shutil.copyfile('/usr/local/lib/'+so_file, '/usr/lib64/'+so_file)
    shutil.copyfile('/usr/local/lib/'+so_file, '/usr/lib/x86_64-linux-gnu/'+so_file)

已经提出了一个解决方案，但它使用pip来安装库- How do I install a library permanently in Colab?，但Rapids不能使用pip安装。它只能使用Conda安装。这是安装它的代码。

conda create -n rapids-0.19 -c rapidsai -c nvidia -c conda-forge \
    rapids-blazing=0.19 python=3.7 cudatoolkit=11.0

我尝试使用--前缀标志将google驱动器路径(nb_path)包含到此代码中，正如上面的链接!pip install --target=$nb_path jdc所建议的那样，但我得到了一个syntax error。

谁能告诉我如何将这个nb_path设置为上面的conda create代码？

Answer 1

作为参考，快速安装的conda目标路径是/usr/local。我们在RAPIDS-Colab安装脚本中使用不同的位置来使其正常工作。

目前，我还不知道有什么方法可以让用户将RAPIDS永久安装到Google Colab中。Google Colab的设计目的不是持久化库-或任何相关的数据-这些库或数据并不是预先安装在环境中的。你提出的建议是一条有趣的探索之路。我们做encourage and work with RAPIDS community members in our Slack channel，他们尝试新方法并改进我们的一些社区代码，如RAPIDS-Colab installation script.

只要记住，RAPIDS + Google Colab的努力从来都不是一个有趣，简单的“尝试RAPIDS”的方式。对于Google Cloud用户来说，GCP应该是下一步。虽然看到使用率随着时间的推移而增长是令人振奋的，但谷歌需要创建一个Colab实例，该实例预先安装了RAPIDS，以满足您的需求。你应该让他们知道你想要这个

同时，如果您需要一个随时可用的实例，有一些廉价的、支持RAPIDS的快速启动选项即将出现。