
解决无限创建线程问题:使用信号量
在多线程编程中,如果线程的数量没有限制,可能会导致内存占用过大。为了解决这个问题,可以使用信号量(semaphore)来限制同时运行的线程数量。
信号量是一个用于协调和同步并发访问的机制。在python中,threading 模块提供了 semaphore 类,它可以限制同时访问某个资源的线程数量。
在您提供的代码中,可以通过以下方式使用信号量来限制创建线程的数量:
免费 盛世企业网站管理系统(SnSee)系统完全免费使用,无任何功能模块使用限制,在使用过程中如遇到相关问题可以去官方论坛参与讨论。开源 系统Web代码完全开源,在您使用过程中可以根据自已实际情况加以调整或修改,完全可以满足您的需求。强大且灵活 独创的多语言功能,可以直接在后台自由设定语言版本,其语言版本不限数量,可根据自已需要进行任意设置;系统各模块可在后台自由设置及开启;强大且适用的后台管理支
import threading num = len(initial) sem = threading.semaphore(num / 20) # 根据 initial 集合的大小动态计算信号量大小
其中:
- num 是 initial 集合的长度,表示需要执行的任务数量。
- sem 是信号量对象,它限制同时执行的任务数量为 num / 20。
然后,在创建线程时,可以使用 with sem 语句来锁定信号量,确保只有在还有可用的资源时才创建线程。
with sem: # 锁定信号量,限制同时执行的任务数量
# create_url(initial[i]) #传递关键词生成采集url
run = threading.Thread(target=create_url, args=(initial[i],))
run.start()
initial.pop(i)这样,每次创建线程之前,都会检查信号量是否可用。如果信号量可用,则创建线程;否则,线程将被阻塞,直到信号量被释放。









