多个线程或进程并发写同一文件易导致数据错乱,需用对应锁机制:线程用threading.Lock保护共享文件对象并flush;进程用multiprocessing.Lock、flock或分文件写入;异步写入需通过线程池配合asyncio.Lock;推荐临时文件+os.replace实现原子更新。

多个线程或进程同时向同一个文件写入内容时,容易出现数据错乱、覆盖或丢失。Python中需借助锁机制协调访问,确保写入操作的原子性和顺序性。核心在于:区分线程内并发(用 threading.Lock)和跨进程并发(用 multiprocessing.Lock 或文件级锁如 flock),且不能共用同一把锁对象。
线程安全写入:用 threading.Lock 串行化操作
当多个线程共享一个文件对象(如全局 open 的句柄)时,必须在每次 write 前加锁、写完后释放。注意:锁要定义在所有线程可访问的作用域(如模块级或传入线程函数),且避免在 with open() 内部直接加锁——因为文件可能被反复打开关闭,锁无法保护“打开→写入→关闭”整个流程。
- 推荐方式:预打开文件(只写模式),配合线程锁统一管理写入点
- 示例:不安全:每个线程各自 open + write → 可能覆盖;安全:单个文件对象 + 全局 Lock + write + flush
- 记得调用
flush()确保立即落盘,尤其在锁释放前
多进程安全写入:避免共享文件对象,优先用进程锁或独立路径
多进程无法共享普通 Python 对象(包括 threading.Lock 和 file 对象),所以不能复用线程方案。常见可靠做法有三种:
- 用
multiprocessing.Lock协调各进程对同一文件的写入(需确保所有进程使用同一个 Lock 实例,通常通过 Manager 或父子进程继承) - 改用
os.open()+flock()(Unix/Linux/macOS),通过系统级文件锁控制,更底层也更健壮 - 最简单实用:每个进程写入不同临时文件,最后由主进程合并 —— 规避竞争,适合日志、批量导出等场景
异步写入(asyncio)需绕过阻塞IO,不依赖传统锁
asyncio 中不能直接 await 普通文件 write(它是同步阻塞操作)。正确做法是将写入委托给线程池执行,并在回调或任务中处理结果。此时若仍需互斥,应在提交到线程池前用 asyncio.Lock 控制协程间的“提交顺序”,而非保护 write 本身。
本文档讲述在Android2.1上完全自已开发一个驱动去控制硬件口并写应用测试该驱动,通过这样一个例子,解析android下的驱动开发流程的应用调用流程,可以说是很好的入门引导 要达到的效果:通过Android的应用,调用驱动程序,在开发板上控制4个LED的亮灭。感兴趣的朋友可以过来看看
立即学习“Python免费学习笔记(深入)”;
-
loop.run_in_executor(None, lambda: f.write(data))是常用模式 - 若多个协程争抢同一文件路径,可用
asyncio.Lock包裹 executor 提交逻辑 - 避免在协程里直接 open/write,会阻塞事件循环
小技巧:用 tempfile 和原子重命名提升可靠性
即使加了锁,程序崩溃仍可能导致文件损坏。更稳健的方式是:先写入临时文件(tempfile.NamedTemporaryFile 或 tempfile.mktemp),再用 os.replace() 原子替换原文件。该操作在大多数系统上是不可中断的,能防止写到一半中断导致脏数据。
-
os.replace(temp_path, final_path)比shutil.move()更适合此场景 - 临时文件建议放在同一文件系统下,否则 replace 可能退化为 copy+delete,失去原子性
- 适用于配置更新、缓存刷新、日志归档等对一致性要求高的场景









