0

0

如何在Golang中处理Unicode字符串_Golang多字节字符处理方式

P粉602998670

P粉602998670

发布时间:2026-01-14 20:49:18

|

162人浏览过

|

来源于php中文网

原创

Go以rune为单位处理Unicode,len()返回字节数而非字符数,故len("?‍?")为4;正确获取字符数需转[]rune;遍历、切分、正则等操作须注意Unicode支持。

如何在golang中处理unicode字符串_golang多字节字符处理方式

Go 原生以 rune 为单位处理 Unicode,字符串字面量默认 UTF-8 编码,但直接用 len() 或下标访问会按字节而非字符出错——这是绝大多数新手踩坑的根源。

为什么 len("?‍?") 返回 4 而不是 1

Go 的 string 是只读字节序列,len() 返回 UTF-8 字节数。表情符号 "?‍?" 是由多个 Unicode 码点(含 ZWJ 连接符)组成的合成字符,在 UTF-8 中占 4 个字节,所以 len() 返回 4。这不是 bug,是设计使然。

正确做法是转成 []rune 后再取长度:

str := "?‍?"
fmt.Println(len(str))        // 4 —— 字节数
fmt.Println(len([]rune(str))) // 1 —— 字符数(rune 数)

遍历字符串时别用 for i := 0; i

这种写法会把多字节字符拆开,导致乱码或 panic(越界)。

立即学习go语言免费学习笔记(深入)”;

  • ❌ 错误:按字节索引遍历 s[i],可能截断 UTF-8 序列
  • ✅ 正确:用 range 遍历,自动解码为 rune
  • ✅ 替代:显式转 []rune 再用下标(适合需随机访问的场景)

示例对比:

s := "Go语言"
for i, r := range s {
    fmt.Printf("index %d: rune %U (%c)\n", i, r, r)
}
// 输出:
// index 0: U+0047 (G)
// index 2: U+006F (o)
// index 4: U+8BED (语)
// index 7: U+8A00 (言)
// 注意:i 是字节偏移,不是字符序号

截取子串必须用 []rune 转换后再操作

直接用 s[0:3] 是按字节切,极大概率破坏 UTF-8 编码。例如 "你好"[0:2] 会得到非法字节序列,打印显示为 ""

Ruby on Rails字符串处理 中文WORD版
Ruby on Rails字符串处理 中文WORD版

本文档主要讲述的是Ruby on Rails字符串处理;在Ruby中创建一个字符串有多种方式。可以有两种方式表示一个字符串:用一对单引号包围字符('str')或用一对双引号包围字符("str") 这两种形式的区别在于对于包围的字符串的处理,用双引号构造的字符串能处理更多的转移字符。 希望本文档会给有需要的朋友带来帮助;感兴趣的朋友可以过来看看

下载

安全截取前 N 个字符的写法:

s := "Hello世界?"
n := 5
runes := []rune(s)
if n > len(runes) {
    n = len(runes)
}
result := string(runes[:n]) // ✅ 正确:先转 rune 切片,再转回 string

注意:string([]rune(s)[:n]) 是常见惯用法,但对超长字符串有内存开销——如果只取前几个字符且原串极大,可考虑用 utf8.DecodeRuneInString 手动解码避免全量转换。

正则匹配中文、emoji 等需启用 Unicode 模式

regexp 包默认不识别 Unicode 字符类(如 \p{Han}),必须使用 (?U) 标志或 \p{...} 语法:

re := regexp.MustCompile(`(?U)\p{Han}+`) // 匹配汉字
re.FindAllString("Hello你好World", -1) // → ["你好"]

re2 := regexp.MustCompile(`\p{Emoji}\p{Emoji_Modifier}?`)
re2.FindAllString("?‍??‍?", -1) // → ["?‍?", "?‍?"]

漏掉 (?U) 或写成 \w+ 会完全匹配不到中文/emoji,因为 \w 只覆盖 ASCII 字母数字下划线。

最易被忽略的是:字符串拼接、格式化(fmt.Sprintf)、JSON 编解码本身都支持 UTF-8,无需额外处理;真正要动手的地方只有「长度计算」「索引访问」「子串切分」「正则匹配」这四类操作——其余时候,放心当它是个普通字符串用就行。

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

178

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

226

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

337

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

208

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

388

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

195

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

190

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

192

2025.06.17

Java 桌面应用开发(JavaFX 实战)
Java 桌面应用开发(JavaFX 实战)

本专题系统讲解 Java 在桌面应用开发领域的实战应用,重点围绕 JavaFX 框架,涵盖界面布局、控件使用、事件处理、FXML、样式美化(CSS)、多线程与UI响应优化,以及桌面应用的打包与发布。通过完整示例项目,帮助学习者掌握 使用 Java 构建现代化、跨平台桌面应用程序的核心能力。

36

2026.01.14

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 8.3万人学习

JS进阶与BootStrap学习
JS进阶与BootStrap学习

共39课时 | 3.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号