python、GIL、并发性、多线程、多进程
Python 的全局解释器锁 (GIL) 是一个内置机制，它确保每次只有一个线程能够执行 Python 字节码。这个锁是为了防止数据损坏，因为它阻止了多个线程同时修改共享数据。
GIL 的限制
虽然 GIL 对于确保数据完整性至关重要，但它对 Python 的并发性也有重大限制：
立即学习“Python免费学习笔记（深入）”；
- 顺序性： GIL 强制所有线程按顺序执行，限制了 Python 并发程序的并行性。
- 瓶颈： 当一个线程在 I/O 操作或其他阻塞操作中等待时，GIL 会阻止其他线程执行。这可能会导致任务延迟和性能下降。
克服 GIL 的限制
虽然 GIL 无法完全绕过，但有一些技术可以减轻其对并发性的影响：
1. 多进程
多进程是使用多个操作系统进程而不是 Python 线程来实现并发的。由于每个进程都有自己的 GIL，因此它们可以同时执行而没有任何锁争用：
import multiprocessing
def task(num):
print(f"Process {num}: {num * num}")
if __name__ == "__main__":
processes = [multiprocessing.Process(target=task, args=(i,)) for i in range(4)]
for process in processes:
process.start()
for process in processes:
process.join()
2. 多线程与队列
使用多线程和队列可以实现并行性，同时避免 GIL 争用。线程将任务放入队列，而其他线程从队列中获取任务并执行它们：
import threading
import queue
queue = queue.Queue()
def producer():
for i in range(10):
queue.put(i)
def consumer():
while not queue.empty():
item = queue.get()
print(f"Thread: {item * item}")
threads = [threading.Thread(target=producer), threading.Thread(target=consumer)]
for thread in threads:
thread.start()
for thread in threads:
thread.join()
3. Greenlets
Greenlets 是协程，它们允许您在单个线程中暂停和恢复函数。由于 Greenlets 不受 GIL 的约束，因此它们可以在不发生锁争用的情况下实现并发：
import gevent
def task(num):
print(f"Greenlet {num}: {num * num}")
gevent.joinall([gevent.spawn(task, i) for i in range(4)])
4. C/C++ 扩展
对于需要高性能的并发应用程序，可以编写 C/C++ 扩展并将其与 Python 集成。C/c++ 代码不受 GIL 的影响，因此可以提供更快的并行性：
#include <Python.h>
static PyObject* py_task(PyObject* self, PyObject* args) {
int num;
if (!PyArg_ParseTuple(args, "i", &num)) {
return NULL;
}
// 执行任务
int result = num * num;
return Py_BuildValue("i", result);
}
static PyMethodDef methods[] = {
{"task", py_task, METH_VARARGS, "PerfORM a task in a C extension"},
{NULL, NULL, 0, NULL}
};
static PyModuleDef module = {
PyModuleDef_HEAD_INIT,
"c_extension",
"C extension for parallel task execution",
-1,
methods
};
PyMODINIT_FUNC PyInit_c_extension(void) {
return PyModule_Create(&module);
}
总结
Python 的 GIL 虽然对于保证数据完整性至关重要，但它会限制并发性。通过采用多进程、多线程与队列、Greenlets 或 C/C++ 扩展等策略，您可以克服 GIL 的限制，释放 Python 并发性的全部潜力。不过，在使用这些技术时，需要仔细考虑它们的优点、缺点和适用性。
