我购买了在Google上访问e2-highmem-16 (16个vCPU,128 GB内存)的机器类型,因为我需要运行大量计算成本高昂的代码。
我使用了Mac中的ssh,并在conda和我需要的所有包中安装了python,我可以运行代码。唯一的问题是,代码在VM上的运行速度几乎比在我的计算机上慢。根据计算引擎统计,我只使用了0.03%的CPU。这就是为什么它这么慢吗?如果是这样,我如何使用100%的CPU?
发布于 2020-07-04 21:18:43
您没有附加代码,但是,假设您有一个主函数为您运行所有的计算,并且它看起来如下(泛型的,以便您可以通过*args和**kwargs传递您喜欢的东西):
def f_execute_work(*args, **kwargs):
.....
.....您可以使用concurrent.future模块执行并行程序。它会给你带来工作:
concurrent.futures模块为异步执行调用提供了一个高级接口.
异步执行可以使用线程执行,可以使用ThreadPoolExecutor执行,也可以使用ProcessPoolExecutor执行单独的进程。两者都实现了同一个接口,这是由抽象Executor类定义的。
import concurrent.futures
with ThreadPoolExecutor(max_workers=psutil.cpu_count()) as executor:
future = executor.submit(f_execute_work, *args, **kwargs)
print(future.result())``submit( fn,*args,kwargs)‘**将可调用的fn调度为fn(*args **kwargs),并返回一个代表可调用对象执行的对象。
使用psutil.cpu_count()获取分配最大工作人员和利用cpu核心的逻辑核号。
https://stackoverflow.com/questions/62734454
复制相似问题