频 道 直 达 - 新闻 - 培训 - 软件 - 教程 - 前沿 - 组网 - 系统应用 - 安全 - 编程 - 存储 - 操作系统 - 数据库 - 服务器 - 专题 - 产品 - 案例库 - 读书 - 博客 - BBS
51CTO.COM_中国最大的网络技术网站
找资料:

15.4.2 阻塞调度

作者: 陈儒著 出处:电子工业出版社  2008-07-23 16:46    砖    好    评论   进入论坛
阅读提示:《Python源码剖析--深度探索动态语言核心技术》第15章主要讲述的是Python 多线程机制,本小节为大家介绍的是 阻塞调度。

15.4.2 阻塞调度

标准调度是在Python 执行完了可执行的指令条数之后才发生的,但是在实际中,Python 需要支持另一种触发线程调度的情形,我们称之为阻塞调度。其基本思想是:在线程A 通过某种操作,比如说等待输入,将自身阻塞后,Python 应该将等待GIL 的线程B唤醒。

考虑我们的thread1.py,在主线程和子线程中都有time.sleep(1)的调用。假如子线程调用了time.sleep(1),那么子线程将释放GIL,挂起自身,Python 唤醒主线程。同样,在主线程中调用time.sleep(1),也将使Python 唤醒子线程。这展示了一种情形,即程序有时候希望将自己挂起。

除了这种线程主动放弃GIL 的情况之外,还有另一种情形,即程序不得不挂起。还是考虑我们的thread1.py,假如在主线程的thread.start_new_thread(threadProc, ())之后我们调用raw_input(),那么主线程必须等待用户的输入,这时,主线程也不得不释放GIL,将自身挂起。

我们通过研究time.sleep()来剖析Python 是如何实现这种阻塞调度的。在Python中,time module 在timemodule.c 中实现,而其中的sleep 操作由time_sleep 函数,进而由floatsleep 函数实现。

[timemodule.c]
static int floatsleep(double secs)
{
double millisecs = secs * 1000.0;
unsigned long ul_millis;
Py_BEGIN_ALLOW_THREADS
/* Allow sleep(0) to maintain win32
semantics, and as decreed
* by Guido, only the main thread can be interrupted.
*/
ul_millis = (unsigned long)millisecs;
if (ul_millis == 0 || main_thread !=
PyThread_get_thread_ident())
Sleep(ul_millis);
Py_END_ALLOW_THREADS
……
return 0;
}

实际上,Sleep 机制也是平台相关的,这里我们只展示了Win32 平台下的sleep 实现。同时,由于Win32 平台下的sleep 实现也比较复杂,我们关注的焦点并不是timemodule的实现,而是阻塞调度机制是如何实现的,所以我们只列出了子线程调用sleep 时涉及的相关代码。我们看到,Python 实际上是通过调用Win32 的系统API:sleep 来实现了阻塞的机制。那么在调用sleep 之前,子线程肯定需要将GIL 释放。在floatsleep 中,我们注意到在调用Sleep 之前,有一个Py_BEGIN_ALLOW_THREADS,与之对应的,在调用Sleep之后,还有一个Py_END_ALLOW_THREADS,正是这两个宏完成了触发Python 进行线程调度的工作。
[ceval.h]
#define Py_BEGIN_ALLOW_THREADS { \
PyThreadState *_save; \
_save = PyEval_SaveThread();
#define Py_END_ALLOW_THREADS
PyEval_RestoreThread(_save); \
}
[ceval.c]
PyThreadState* PyEval_SaveThread(void)
{
PyThreadState *tstate = PyThreadState_Swap(NULL);
if (interpreter_lock)
PyThread_release_lock(interpreter_lock);
return tstate;
}
void PyEval_RestoreThread(PyThreadState *tstate)
{
if (interpreter_lock) {
int err = errno;
PyThread_acquire_lock(interpreter_lock, 1);
errno = err;
}
PyThreadState_Swap(tstate);
}


在Py_BEGIN_ALLOW_THREADS 这个宏定义的代码中,子线程释放了GIL,这将唤醒等待GIL 的主线程;而在Py_END_ALLOW_THREADS 宏所定义的代码中,子线程重新申请GIL。注意,在子线程调用了Py_BEGIN_ALLOW_THREAD 之后,它就不再受GIL 的约束。从这时开始,Python 的两个线程都可能被操作系统的线程调度机制选中,直到子线程通过Py_END_ALLOW_THREADS 申请GIL 为止,Python 又恢复为只能有一个线程被操作系统的线程调度机制选中。

这意味着Python 的线程在某种情况下可以脱离GIL 的控制,然而我们看到,在Py_BEGIN_ALLOW_THREAD 和Py_END_ALLOW_THREADS 之间,子线程并没有调用任何Python 的C API,只是调用了操作系统的API,这不会导致共享资源的访问冲突,所以依然是线程安全的。开始的时候我们就说过,在理论上,Python 并不是一定要GIL 这样的解释器级的互斥线程的机制,只要能保护共享资源即可,而当前Python 采用的GIL 只是多种线程互斥机制中的一种而已。

同样,对于raw_input 而言,其最终将由PyOS_Readline 实现,我们最终也会在PyOS_Readline 中发现Py_BEGIN_ALLOW_THREAD 和Py_END_ALLOW_THREADS 联袂的身影。Python 正是通过这两个宏实现了阻塞调度机制。

有趣的是,在线程通过阻塞调度切换时,Python 内部的那个_Py_Ticker 依然会被保持,并不会被重置为100,只有标准调度才会重置这个Python 的模拟时钟。在图15-10 中,清晰地显示了这一结果。注意,这时需要将thread1.py 中的两条time.sleep 语句打开,以便激发阻塞调度。

  
图15-10 阻塞调度与标准调度结合下的线程切换

从图15-10 中我们看到阻塞调度确实是独立于标准调度另一种线程调度机制。而阻塞调度确实没有重置_Py_Ticker,否则Python 显示出来的值决不会是137 这样小的值了。需要注意的,图15-10 和图15-9 中的输出从120 多增长到了130 多,是因为图15-9 对应的例子中我们只使用了标准调度,图15-10 中则混合使用了标准调度和阻塞调度,这多出来的10 几条正是Python 执行time.sleep()时所消耗的指令数。

【责任编辑:夏书 TEL:(010)68476606】

回书目   上一节   下一节
专题
Python实用指南
Head First EJB(中文版)
Python源码剖析--深度探索动态语言核心技术
ActionScript 3.0权威指南
C# 与VB.NET 网络通信开发实战
我也说两句

匿名发表

(如果看不清请点击图片进行更换)


中 国 最 大 的 网 络 技 术 网 站 ·
技 术 成 就 梦 想
订阅技术快讯
电子杂志下载
名称:SQL Server数据库管理精品黄皮书
简介:书中文章经过精挑细选,便于用户能根据自己的实际工作和学习,快速在本书寻找到相关资料。内容涵盖了SQL Server的安装与升级、语句查询、数据备份和恢复、自动化任务、数据同步、数据字典、安全和预防、性能和优化、集群等各方面应用信息,以及DBA管理人员在数据库管理工作中
名称:2007路由技术大全
简介:《2007路由技术大全》由51CTO.com网站特别策划制作,该书包括路由器技术、路由器产品、路由器配置、安全设置、路由器故障处理、路由器密码恢复,以及广大网友在实践使用中的心得经验和技巧文章,内容注重实用性,适用于初学者入门,也适合多年从业者提高,是一本实践和理论完
名称:网络安全精品应用黄皮书
简介:《2007精品网络安全黄皮书》包括了9个大类24个小类, 800余篇文章,内容包含了熊猫烧香病毒、DDOS攻击、ARP病等热点问题的介绍及解决方案。从病毒查杀、防范、系统、数据等各方面的安全设置到黑客技术的了解、防范,涉及到了安全应用的全部领域, 由浅至深内容全面。
CCNA认证考试Pass必备
CCNA认证考试Pass必备
无线网络环境
无线网络环境
无线路由器故障处理
无线路由器故障处理
· 无线路由器故障处理
· 解析35岁技术人的价值..
· 无线重中之重:安全问题
· 无线局域网基本知识
· 家庭无线局域网
· 华为七千人主动辞职规..
· 微软出价446亿美元收购..
· 虚拟化的“赤壁之战”
· Windows Server 2008专..
· 802.11n:下一代的无线..
· 脉冲无线电uwb专题
· AIX操作系统管理应用
· 云计算时代来临
· 求职必杀技 决战面试官
· 龙芯要做中国的“奔腾”
· 2008年上半年IT技术图..
ARP攻击防范与解决方案
ARP攻击防范与解决方案
SQL Server 2008/2005全解
SQL Server 2008/2005全解
SOA 面向服务架构
SOA 面向服务架构
· SOA 面向服务架构
· SQL Server 2008/2005..
· Apache技术专题
· 三层交换技术专题
· SQL Server入门到精通
· 无线网状网(MESH)
· Windows远程桌面应用
· C#技术开发指南
· Apache技术专题
· Windows集群服务应用
· C#技术开发指南
· 文档格式标准开战 OOXM..
· 路由器设置与口令恢复
· Linux 集群技术专题
· PHP开发应用手册
· SOA 面向服务架构
ARP攻击防范与解决方案
ARP攻击防范与解决方案
SQL Server 2008/2005全解
SQL Server 2008/2005全解
SQL Server入门到精通
SQL Server入门到精通
· SQL Server入门到精通
· SQL Server 2008/2005..
· SOA 面向服务架构
· Apache技术专题
· C#技术开发指南
· 三层交换技术专题
· Apache技术专题
· C#技术开发指南
· Windows远程桌面应用
· 企业数据恢复指南
· Windows集群服务应用
· 路由器设置与口令恢复
· Linux 集群技术专题
· SOA 面向服务架构
· 了解统一威胁管理(UTM)..
· 解析35岁技术人的价值..