我是新的急流AI世界,我决定尝试CUML和CUDF第一次。我在WSL 2上运行Ubuntu18.04,我的主要操作系统是Windows 11,我有64 GB内存和一个笔记本电脑RTX 3060 6 GB GPU。
在我撰写这篇文章时,我正在一个由大约26000个值组成的CUDF数据框架上运行一个TSNE拟合计算,它存储在7列中(所有的值都是数值或二进制值,因为分类值是一个热编码的)。虽然像LogisticRegression或支持向量机这样的分类器非常快,但TSNE似乎需要一段时间才能输出结果(现在已经超过一个小时了,即使Dataframe不是那么大,它仍然在运行)。任务管理器告诉我,即使在windows powershell上运行"nvidia-smi“命令,在总共6GB的内存中,只有1.94GB正在使用,但GPU的使用却是100%。这对我来说很奇怪,因为我读过关于RAPIDS的TSNE算法的论文,比标准的scikit快20倍--学习一个。
我想知道是否有办法提高专用GPU内存的百分比来执行更快的计算,或者这仅仅是一个与WSL 2相关的问题(可能它将GPU的使用限制在2GB)。
有什么建议或想法吗?非常感谢
发布于 2022-01-13 23:57:43
任务管理器告诉我,100%的GPU用于计算。
我不确定Windows任务管理器是否能够告诉您正在为计算实现的GPU吞吐量。
在windows powershell上的"nvidia-smi“命令返回了总共6 GB中只有1.94 GB正在使用的命令。
内存利用是与GPU吞吐量不同的计算方法。任何GPU应用程序将只使用所请求的内存,并且高内存使用率与高吞吐量之间没有相关性,除非应用程序特别提到了通过使用更多内存来实现更高吞吐量的方法(例如,用于同一计算的不同算法可能会使用更多内存)。
TSNE似乎需要一段时间才能输出结果(现在已经超过一个小时了,即使Dataframe不太大,它仍然在运行)。
这显然看起来很奇怪,而不是一个小数据集的预期行为。您使用的是什么版本的cuML,以及fit任务的method参数是什么?您是否也可以在www.github.com/rapidsai/cuml/issues上打开一个问题,以访问您的数据集,以便可以复制该问题?
https://stackoverflow.com/questions/70699806
复制相似问题