Go语言中利用go.net/html库高效提取HTML节点文本内容

本教程详细讲解如何使用go语言的`go.net/html`库从html节点中提取纯文本内容。针对文本可能嵌套在多层子元素中的情况，文章提供了一种递归遍历节点树并收集所有文本节点的通用方法，并通过示例代码展示了如何将其集成到html解析和遍历流程中，帮助开发者准确获取所需数据。

理解go.net/html的节点结构

go.net/html库将HTML文档解析成一个树形结构，文档中的每个HTML标签、文本、注释等都对应一个html.Node。理解这些节点的类型是正确提取数据的关键。常见的节点类型包括：

• html.ElementNode: 代表一个HTML元素，如
  , , 。这类节点通常包含属性（Attr）和子节点。
• html.TextNode: 代表元素内部的纯文本内容。
• html.DocumentNode: 文档的根节点，通常是整个HTML文档的起始点。

一个典型的HTML片段，例如 FooBar，在go.net/html中会被解析为以下结构：

• ElementNode "a" (包含 href 属性)
  • ElementNode "strong"
    • TextNode "Foo"
  • TextNode "Bar"

从这个结构可以看出，一个元素的文本内容可能不是其直接的TextNode子节点，而是分散在其子孙节点的TextNode中。因此，简单地检查元素的直接子节点无法获取到完整的文本。为了获取一个元素完整的可见文本，我们需要遍历其所有子孙节点，并收集所有类型为 html.TextNode 的数据。

提取节点文本内容的通用方法

为了准确获取一个HTML元素（例如 标签）内部的所有纯文本内容，我们需要遍历其所有子孙节点，并收集所有类型为 html.TextNode 的数据。下面是一个实现此功能的递归函数：

立即学习“go语言免费学习笔记（深入）”；

package main

import (
    "bytes"
    "fmt"
    "log"
    "strings"

    "golang.org/x/net/html" // 注意：实际导入路径为 golang.org/x/net/html
)

// collectText 递归地收集一个节点及其所有子孙节点中的文本内容
// 它将所有找到的文本节点数据写入提供的 bytes.Buffer 中。
func collectText(n *html.Node, buf *bytes.Buffer) {
    // 如果当前节点是文本节点，则将其数据写入缓冲区
    if n.Type == html.TextNode {
        buf.WriteString(n.Data)
    }
    // 遍历当前节点的所有子节点，并对每个子节点递归调用自身
    for c := n.FirstChild; c != nil; c = c.NextSibling {
        collectText(c, buf)
    }
}

这个 collectText 函数接收一个 *html.Node 作为起始节点和一个 *bytes.Buffer 作为文本收集器。它会检查当前节点是否为 html.TextNode，如果是，则将其 Data 字段（即纯文本内容）追加到 bytes.Buffer 中。接着，它会遍历当前节点的所有子节点，并对每个子节点递归调用自身，确保所有嵌套的文本内容都能被收集到。使用 bytes.Buffer 比直接字符串拼接（如使用+操作符）更高效，尤其是在处理大量文本时。

将文本提取集成到节点遍历中

现在，我们将 collectText 函数集成到我们遍历HTML文档的逻辑中。假设我们希望获取所有 标签的链接文本（即 Foo 和 BarBaz 而不是 foo 和 /bar/baz）。


知料万语
知料万语—AI论文写作，AI论文助手
下载

首先，我们需要一个主遍历函数来遍历整个HTML文档树。当主遍历函数找到目标元素（例如 标签）时，它会调用 collectText 来提取该元素内部的所有文本。

package main

import (
    "bytes"
    "fmt"
    "log"
    "strings"

    "golang.org/x/net/html"
)

func main() {
    // 示例HTML字符串，包含嵌套文本的链接
    s := `
Links:
Foo
BarBaz
NestedText
`

    // 解析HTML字符串为节点树
    doc, err := html.Parse(strings.NewReader(s))
    if err != nil {
        log.Fatal(err)
    }

    // 定义一个递归函数来遍历HTML节点树
    var f func(*html.Node)
    f = func(n *html.Node) {
        // 检查当前节点是否为元素节点且其数据是 "a" (即  标签)
        if n.Type == html.ElementNode && n.Data == "a" {
            // 创建一个 bytes.Buffer 来收集  标签内部的所有文本
            textBuffer := &bytes.Buffer{}
            collectText(n, textBuffer) // 调用 collectText 收集文本
            fmt.Println(textBuffer.String()) // 打印收集到的文本
        }

        // 递归遍历当前节点的所有子节点
        for c := n.FirstChild; c != nil; c = c.NextSibling {
            f(c)
        }
    }

    // 从文档根节点开始遍历
    f(doc)
}

// collectText 递归地收集一个节点及其所有子孙节点中的文本内容
// 它将所有找到的文本节点数据写入提供的 bytes.Buffer 中。
func collectText(n *html.Node, buf *bytes.Buffer) {
    if n.Type == html.TextNode {
        buf.WriteString(n.Data)
    }
    for c := n.FirstChild; c != nil; c = c.NextSibling {
        collectText(c, buf)
    }
}

运行上述代码，将得到以下输出：

Foo
BarBaz
NestedText

这正是我们想要的结果，它成功地从 标签中提取了所有嵌套的文本内容，并将它们拼接成一个完整的字符串。

注意事项与总结

1. 节点类型理解：正确区分 html.ElementNode 和 html.TextNode 是进行HTML解析的关键。纯文本内容总是存在于 TextNode 中，即使它被其他元素包裹。
2. 递归遍历：由于HTML的树形结构和文本内容的可能嵌套，递归遍历是获取完整文本的有效且标准的方法。
3. 效率优化：使用 bytes.Buffer 而不是 + 操作符进行字符串拼接，可以显著提高性能，尤其是在处理大型HTML文档或收集大量文本时。
4. 库路径：请注意，go.net/html 库的实际导入路径为 golang.org/x/net/html。在Go模块环境中，您可能需要先运行 go get golang.org/x/net/html 来下载该模块。

通过上述方法，您可以灵活且高效地使用 go.net/html 库从任何HTML节点中提取其包含的纯文本内容，无论文本嵌套有多深。这种技术在网页抓取、数据提取和HTML内容处理等场景中非常实用。