首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏厉害了程序员

    python3:用仿真实验学习

    前两篇我们已经介绍了python 的使用和yield from 的原理,这一篇,我们用一个例子来揭示如何使用在单线程中管理并发活动。 Simpy 是一个实现离散事件仿真的Python包,通过一个表示离散事件仿真系统的各个进程。 出租车对运营仿真 仿真程序会创建几辆出租车,每辆出租车会拉几个乘客,然后回家。 参数设置随机生成器的种子,以便调试的时候随机数不变,输出相同的结果 python taxi_sim.py -s 3 输出结果如下图 ? 并发: 多个任务交替执行 并行: 多个任务同时执行 到这里 Python系列的三篇文章就结束了。 调度程序可以在任何时刻暂停线程,把控制权交给其他线程 前两篇文章 python 1:10分钟入门 python 2:yield from 从入门到精通 再次说明一下,这几篇是《流畅的python

    1.3K30发布于 2020-12-25
  • 来自专栏Devops专栏

    Python

    仅供学习,转载请注明出处 ,又称微线程,纤。英文名Coroutine。 是啥 python个中另外一种实现多任务的方式,只不过比线程更小占用更小执行单元(理解为需要的资源)。 为啥说它是一个执行单元,因为它自带CPU上下文。 这样只要在合适的时机, 我们可以把一个 切换到另一个。 只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。 gevent greenlet已经实现了,但是这个还的人工切换,是不是觉得太麻烦了,不要捉急,python还有一个比greenlet更强大的并且能够自动切换任务的模块gevent 其原理是当一个 使用join方法来阻塞,使得可以执行完毕。

    1K30发布于 2019-05-31
  • 来自专栏python3

    python

    也是单线程的,没法利用cpu的多核,想利用cpu多核可以通过,进程+的方式,又或者进程+线程+。 1、的简单实现 的原理是通过生成器实现,如下:程序执行到19行,执行consumer函数到13行,next生成器,执行producer函数到8行停下,返回consumer函数13行继续往下执行, gevent是对gevent的再次封装,能自动识别耗时操作切换到其它。注意gevent遇到耗时操作才会切换运行,没有遇到耗时操作是不会主动切换的。 gevent.spawn(*args, **kwargs)    不定长参数中的第一个参数为执行的方法fn,其余的依次为 fn 的参数。开启了后要调用join方法。 joinall() 方法传参一个列表,列表包含了所有的

    58520发布于 2020-01-19
  • 来自专栏python3

    python

    python入门 函数的执行顺序 在了解程之前, 我们需要再次回想一下python中的多个函数执行的顺序是怎样的? 一个简单的 如何调用 #! 之前我们使用多线程与消息队列实现来消费者与生产者模型,那么是否也能实现此种设计模型呢? 可以从外部传递数据的特性 可以随时中断执行 生产者消费者 #! /usr/bin/python #-*-coding:utf-8-*- '''实现生产者与消费者模型''' def product(c): '''生产者:厨师生产包子 - 生产者接收消费者发来的消息 : yield关键字 实际上是 : 生成器函数 使用g.send(None)触发 g.send("a") 像xie内部发送数据 g.close()关闭

    79210发布于 2020-01-21
  • 来自专栏zingpLiu

    Python中的

    1 1.1的概念 ,又称微线程,纤。英文名Coroutine。一句话说明什么是线程:是一种用户态的轻量级线程。   (2)无需原子操作锁定及同步的开销   (3)方便切换控制流,简化编程模型   (4)高并发+高扩展性+低成本:一个CPU支持上万的都不是问题。 (2)进行阻塞(Blocking)操作(如IO时)会阻塞掉整个程序 2 Python中如何实现 2.1 yield实现   前文所述“子程序(函数)在执行过程中可以中断去执行别的子程序;别的子程序也可以中断回来继续执行之前的子程序 2.2 greenlet实现   Python的 greenlet就相当于手动切换,去执行别的子程序,在“别的子程序”中又主动切换回来。。。 greenlet例子: 1 #! 实现,在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级

    1.7K20发布于 2018-09-05
  • 来自专栏飞鸟的专栏

    十、python学习笔记--爬虫(对比和非效率)

    # 一个简单的小爬虫,将3个页面的数据保存到data.html,对比和非的使用时间 """ 1、通过urlopen获取数据 2、写入文件 3、使用三个页面,通过gevent.joinal执行 (会在IO阻塞处切换),用时短 4、在Windows系统,由于捕获IO较慢。 f.write(data) print('{} bytes received from {}'.format(len(data), url)) url_list = ['https://www.python.org , 'http://www.yahoo.com/'] start_time = time.time() gevent.joinall([gevent.spawn(foo, 'https://www.python.org

    1K31编辑于 2022-02-10
  • 来自专栏Bennyhuo

    破解 Kotlin (3) - 调度篇

    关键词:Kotlin 异步编程 上一篇我们知道了启动的几种模式,也通过示例认识了 launch 启动的使用方法,本文将延续这些内容从调度的角度来进一步为大家揭示的奥义。 ? 1. 上下文 调度器本质上就是一个上下文的实现,我们先来介绍下上下文。 它拦截的方法也很简单,因为的本质就是回调 + “黑魔法”,而这个回调就是被拦截的 Continuation 了。 上一篇文章我们提到了 suspend main 会启动一个,我们示例中的都是它的子,可是这个最外层的到底是怎么来的呢? 小结 在这篇文章当中,我们介绍了上下文,介绍了拦截器,进而最终引出了我们的调度器,截止目前,我们还有异常处理、取消、Anko 对的支持等话题没有讲到,如果大家有相关想了解的话题,可以留言哈

    1K20发布于 2020-02-20
  • 来自专栏ZackSock

    Python

    是啥 python 中另外一种实现多任务的方式,只不过比线程更小占用更小执行单元(理解为需要的资源)。为啥说它是一个执行单元,因为它自带 CPU 上下文。 这样只要在合适的时机, 我们可以把一个 切换到另一个。只要这个过程中保存或恢复 CPU 上下文那么程序还是可以运行的。 但是 的切换只是单纯的操作 CPU 的上下文,所以一秒钟切换个上百万次系统都抗的住。 greenlet模块 为了更好使用来完成多任务,python 中的 greenlet 模块对其封装,从而使得切换任务变的更加简单 使用如下命令安装 greenlet 模块: pip install gevent模块 greenlet 已经实现了,但是这个还的人工切换,是不是觉得太麻烦了,不要着急,python还有一个比greenlet更强大的并且能够 自动切换任务 的模块 gevent 其原理是当一个

    56920发布于 2021-04-13
  • 来自专栏毛利学Python

    python

    是实现并发编程的一种方式。 https://docs.python.org/zh-cn/3/library/asyncio.html 一说并发,你肯定想到了多线程 / 多进程模型,没错,多线程 / 多进程,正是解决并发问题的经典模型之一 :是单线程下的并发,又称微线程。 比线程的单位更小—— 注意这个概念完全是程序员自己想出来的东西,它对于操作系统来说根本不存在。操作系统只知道进程和线程。 time: 5.01 s asyncio.run() 函数用来运行最高层级的入口点 "main()" 函数 await 是同步调用等待一个

    68520发布于 2019-11-10
  • 来自专栏程序员

    Python

    Python 创建函数 Python3.5引入了关键字async来定义函数 async def fun(): """函数""" print(1) 函数和普通的函数不一样 必须将对象(函数)放入事件循环中来执行。在Python3.4的时候,引入内置模块asyncio,该模块可以将对象加入到事件循环中执行。 # 将对象放入任务列表 # Python3.7之后,可以使用下面的方式运行函数。 asyncio.run(xc) await await也是Python3.5引入的新关键字。await的作用就是等待可等待对象。 可等待对象包含对象,future对象,task对象。 执行3次await asyncio.sleep(1),等待3s,这时候func1等待结束,打印end await c1返回,接着执行await c2; 而func2已经在执行了。

    1.1K10编辑于 2022-05-05
  • 来自专栏sktj

    python

    image.png image.png .send .close image.png yield from?

    65520发布于 2019-09-25
  • 来自专栏若尘的技术专栏

    Python

    参考资料 http://python.jobbole.com/86481/ http://python.jobbole.com/87310/ http://segmentfault.com/a/1190000009781688 5 8 13 21 34 55 历史历程 3.4引入,用yield实现 3.5引入语法 实现的比较好的包有asyncio,tornado,gevent 定义: 是为非抢占式多任务产生子程序的计算机程序组件 ,允许不同入口点在不用位置暂停或者执行程序。 从技术角度讲,就是一个你可以暂停执行的函数,或者干脆把理解成生成器 的实现: yield返回 send调用 的四个状态 inspect.getgeneratorstate(...) 中未处理的异常会向上冒泡,传给 next 函数或 send 方法的调用方(即触发的对象) 终止的一种方式:发送某个哨符值,让退出。

    1.9K127发布于 2021-05-11
  • 来自专栏CS实验室

    Python

    Python (Coroutine)又称微线程,即轻量级的线程。可以理解成与调用方协作,产出由调用方提供的值的过程。与线程相比,其优势在于上下文切换的成本更低,且由用户自己控制。 发展史 Python 中的主要经历了三个阶段。 async / await 从 python3.5 开始,Python 新加了一种定义方法 asyncdef。 简单的讲,async 定义一个,await 用于挂起阻塞的异步调用接口;而的调用方法在 Python3.7 中做了些许改动,所以这一节以 Python 版本分成两部分来讲解。 python 3.5 - 3.6 阅读的官方文档就会知道:本身无法运行,只有将其置于事件循环(event_loop)中才能运行其代码。那么事件循环是什么?

    87520发布于 2021-03-22
  • 来自专栏开源部署

    Python

    这是通过栈实现的,一个函数就是一个执行的子程序,子程序的调用总是有一个入口、一次返回,调用的顺序是明确的 又称微线程(纤),是一种用户态的轻量级线程 理解 普通理解:线程是系统级别的,它们是由操作系统调度 是程序级别,由程序员根据需求自己调度。我们把一个线程中的一个个函数称为子程序,那么一个子程序在执行的过程中可以中断去执行别的子程序,这就是。 因此,能后保留一次调用的状态,每次过程重入时,就相当于进入上一次调用的状态 优点 a、无需线程上下文切换的开销,避免了无意义的调度,从而提高了性能,但是程序员必须自己承担调度的任务,同时也失去了标准线程使用多 CPU的能力 b、无需原子操作锁定及同步的开销 c、方便切换控制流,简化编程模型 d、高并发+高可扩展+低成本:一个CPU支持上万个不是问题 缺点 a、无法利用多核CPU,的本质是单个线程,它不能同时将多个 CPU的多个核心使用上,需要和进程匹配使用才能运行在多个CPU上。

    43540编辑于 2022-09-08
  • 来自专栏Michael阿明学习之路

    python

    工作流程和状态 2. 预激的装饰器 3. 终止、异常处理 4. 让返回值 5. yield from learn from 《流畅的python》 1. /fluent_python/coroutine.py", line 12, in <module> # my_coro.send(24) # StopIteration 可以查看的状态 print ,会自动预激 asyncio.coroutine 装饰器不会预激,因此 能兼容 yield from 句法 3. line 170, in <module> # coro_avg.send(None) # StopIteration: Result(count=3, average=20.0) 如何获取的返回值 还可以用做 离散事件仿真 如果想使用现成的 Python 库,可以使用 SimPy

    71330编辑于 2022-11-26
  • 来自专栏python3

    Python:线程、进程与(3)——

            return self.queue.popleft() 通过后面的几个函数分析知道,Queue对象是在collections模块的queue基础上(关于collections模块参考 Python :线程、进程与(2)——threading模块)。 (3)task_done() 源码如下: def task_done(self):             self.all_tasks_done.acquire()       #获得锁          :线程、进程与(2)——threading模块中介绍Condition的例子很像,就是构造了一个长度为20的队列,当队列1元素个数小于8时就忘队列中添加元素,当队列满后,就不再添加,当队列元素大于7 在python中,没有内置的较好的线程池模块,需要自己实现或使用第三方模块。

    58920发布于 2020-01-03
  • 来自专栏hui

    Python

    是啥 python 中另外一种实现多任务的方式,只不过比线程更小占用更小执行单元(理解为需要的资源)。 为啥说它是一个执行单元,因为它自带 CPU 上下文。 这样只要在合适的时机, 我们可以把一个 切换到另一个。 只要这个过程中保存或恢复 CPU 上下文那么程序还是可以运行的。 但是 的切换只是单纯的操作 CPU 的上下文,所以一秒钟切换个上百万次系统都抗的住。 greenlet模块 为了更好使用来完成多任务,python 中的 greenlet 模块对其封装,从而使得切换任务变的更加简单 使用如下命令安装 greenlet 模块: pip install gevent模块 greenlet 已经实现了,但是这个还的人工切换,是不是觉得太麻烦了,不要着急,python还有一个比greenlet更强大的并且能够 自动切换任务 的模块 gevent 其原理是当一个

    77000发布于 2021-04-04
  • 来自专栏乱码李

    Python

    可能出现的结果是: 1 2 x y 3 z 看起来好像两个函数同时执行了。但是一定要注意,这里只有一个线程。 无私函数之间相互协作完成任务,所以称为“”。 所以在执行过程中可以中断该子程序,去执行其他子程序。 与子程序 与子程序的根本区别是 执行时期控制权能否转接。 send 从上面的程序中可以看到,目前只有数据从 fib() 中通过 yield 流向外面的 for 循环;如果可以向 fib() 发送数据,那不是就可以在 Python 中实现了嘛。 grep Python 实现的 grep 也是一个很好的的例子 def grep(pattern): print("Searching for", pattern) while True Python3.5 引入 async/await 让表面上独立于生成器而存在,让 Python更加方便。 学习完成后会更新博客,敬请期待。

    51610发布于 2021-11-26
  • 来自专栏python3

    python与golang的区

    和线程的关系 是在语言层面实现对线程的调度,避免了内核级别的上下文消耗。 python与调度 Python源于yield指令。 ,在Python3.5正式引入了 async/await表达式,使得正式在语言层面得到支持和优化,大大简化之前的yield写法。 和大多数语言一样,在 Python 中,的调度是非抢占式的,也就是说一个必须主动让出执行机会,其他才有机会运行。 让出执行的关键字就是 await。 ---- 某书 的4种状态 Pending Running Done Cacelled 和系统线程之间的映射关系 go的本质上还是系统的线程调用,而Python中的是eventloop模型实现 Python 中的是严格的 1:N 关系,也就是一个线程对应了多个协。虽然可以实现异步I/O,但是不能有效利用多核(GIL)。

    1.8K20发布于 2020-01-06
  • 来自专栏飞鸟的专栏

    十、python学习笔记--非爬虫(对比和非效率)

    # 一个简单的小爬虫,将3个页面的数据保存到data.html,对比和非的使用时间 """非 1、通过urlopen获取数据 2、写入文件 3、使用三个页面,通过for循环执行(非会在IO f.write(data) print('{} bytes received from {}'.format(len(data), url)) url_list = ['https://www.python.org

    67320编辑于 2022-02-10
领券