使用cudf读取一个巨大的csv文件

Question

我试图读取一个巨大的csv文件CUDF，但获得内存问题。

import cudf
cudf.set_allocator("managed")
cudf.__version__
user_wine_rate_df = cudf.read_csv('myfile.csv',
                                 sep = "\t",
                                 parse_dates = ['created_at'])


'0.17.0a+382.gbd321d1e93'

terminate called after throwing an instance of 'thrust::system::system_error'
  what():  parallel_for failed: cudaErrorIllegalAddress: an illegal memory access was encountered
Aborted (core dumped)

如果我删除cudf.set_allocator("managed")，我会得到

MemoryError: std::bad_alloc: CUDA error at: /opt/conda/envs/rapids/include/rmm/mr/device/cuda_memory_resource.hpp:69: cudaErrorMemoryAllocation out of memory

我正在通过rapidsai/rapidsai:cuda11.0-runtime-ubuntu16.04-py3.8使用CUDF

我想知道是什么原因引起了我的记忆，而我可以和熊猫一起读这个大文件。

**最新情况

我安装了dask_cudf

并且使用了dask_cudf.read_csv('myfile.csv') -但仍然得到了

parallel_for failed: cudaErrorIllegalAddress: an illegal memory access was encountered

Answer 1

如果您正在读取的文件大于可用内存，那么您将观察到一个OOM(内存不足)错误，因为cuDF运行在一个独立GPU上。为了读取非常大的文件，我建议使用棍棒。

Answer 2

查看尼克贝克尔在读取大于GPU内存文件时的这个博客。它会让你上路的。