Python字符串编码核心是区分Unicode字符串(str)与字节序列(bytes),UTF-8仅为一种编码规则;Unicode为字符分配唯一码点,UTF-8按规则将其转为1–4字节,encode/decode需匹配编码格式,文件操作须显式指定encoding。

Python中字符串编码问题的核心在于区分Unicode字符串和字节序列(bytes),UTF-8只是其中一种将Unicode字符映射为字节的规则。理解这一点,就抓住了乱码、解码错误、文件读写异常等问题的根源。
Unicode是字符的“身份证”,不是存储格式
Unicode为世界上每种语言的每个字符分配一个唯一的编号(称为码点,如汉字“中”的码点是U+4E2D)。它不规定这个编号怎么存成文件或网络传输的字节——那是编码方案(如UTF-8、UTF-16)的事。
Python 3中,str类型默认就是Unicode字符串,你写的 "你好" 在内存里是以Unicode码点形式存在的,不是UTF-8字节。
- 执行
type("你好")→(Unicode文本) - 执行
type("你好".encode("utf-8"))→(UTF-8字节流)
UTF-8是可变长的字节编码规则
UTF-8用1–4个字节表示一个Unicode码点,原则是:ASCII字符(U+0000–U+007F)用1个字节原样保存;其余字符按规则扩展。这使得UTF-8兼容ASCII,也节省空间。
立即学习“Python免费学习笔记(深入)”;
例如:
-
'A'→ 码点 U+0041 → UTF-8字节b'A'(0x41) -
'中'→ 码点 U+4E2D → UTF-8字节b'\xe4\xb8\xad'(3字节) -
'€'→ 码点 U+20AC → UTF-8字节b'\xe2\x82\xac'(3字节)
编码(encode)和解码(decode)不能颠倒
从str转bytes叫编码(指定目标编码格式),从bytes转str叫解码(必须用当初编码时相同的格式,否则报错或乱码)。
-
"café".encode("utf-8")→b'caf\xc3\xa9' -
b'caf\xc3\xa9'.decode("utf-8")→'café'✅ -
b'caf\xc3\xa9'.decode("gbk")→UnicodeDecodeError❌ 或乱码
常见错误场景:读取UTF-8保存的中文文件却用open(..., encoding="gbk"),或把网络收到的UTF-8响应字节直接当str用而忘记.decode("utf-8")。
文件操作和终端显示要显式指定编码
Python不会自动猜编码。打开文件时务必用encoding参数;终端输出依赖系统环境,但代码中应确保传给print()的是str(Unicode),而非未解码的bytes。
- 正确读UTF-8文件:
with open("data.txt", encoding="utf-8") as f: text = f.read() - 正确写UTF-8文件:
with open("out.txt", "w", encoding="utf-8") as f: f.write("中文") - 若用
open(..., "rb")读取,则得到bytes,需手动.decode("utf-8")才能变成str
Windows命令行默认GBK,可能无法正常显示UTF-8输出,可在脚本开头加:import sys; sys.stdout.reconfigure(encoding="utf-8")(Python 3.7+)。










