首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >利用谷歌云计算引擎V上的所有CPU;

问利用谷歌云计算引擎V上的所有CPU;
EN

Stack Overflow用户
提问于 2020-07-04 21:03:24
回答 1查看 474关注 0票数 0

我购买了在Google上访问e2-highmem-16 (16个vCPU,128 GB内存)的机器类型,因为我需要运行大量计算成本高昂的代码。

我使用了Mac中的ssh,并在conda和我需要的所有包中安装了python,我可以运行代码。唯一的问题是,代码在VM上的运行速度几乎比在我的计算机上慢。根据计算引擎统计,我只使用了0.03%的CPU。这就是为什么它这么慢吗?如果是这样,我如何使用100%的CPU?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-07-04 21:18:43

您没有附加代码,但是,假设您有一个主函数为您运行所有的计算,并且它看起来如下(泛型的,以便您可以通过*args和**kwargs传递您喜欢的东西):

代码语言:javascript
复制
def f_execute_work(*args, **kwargs):
    .....
    .....

您可以使用concurrent.future模块执行并行程序。它会给你带来工作:

concurrent.futures模块为异步执行调用提供了一个高级接口.

异步执行可以使用线程执行,可以使用ThreadPoolExecutor执行,也可以使用ProcessPoolExecutor执行单独的进程。两者都实现了同一个接口,这是由抽象Executor类定义的。

代码语言:javascript
复制
import concurrent.futures
with ThreadPoolExecutor(max_workers=psutil.cpu_count()) as executor:
    future = executor.submit(f_execute_work, *args, **kwargs)
    print(future.result())

``submit( fn,*args,kwargs)‘**将可调用的fn调度为fn(*args **kwargs),并返回一个代表可调用对象执行的对象。

使用psutil.cpu_count()获取分配最大工作人员和利用cpu核心的逻辑核号。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/62734454

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档