如何使用Golang开发URL爬虫工具_抓取网页内容并解析数据

用Go写URL爬虫需控制并发、处理重定向、规避反爬、解析HTML并防无限抓取：用net/http发请求（设超时、UA、禁自动重定向），goquery解析DOM，sync.WaitGroup与chan协调任务流，信号量限并发，map去重，url.Join转绝对路径。

用 Go 语言写一个 URL 爬虫并不难，关键是控制并发、处理重定向、规避反爬、解析 HTML 结构，并避免陷入无限抓取。核心在于：用 net/http 发请求，goquery 或 html 包解析 DOM，配合 sync.WaitGroup 和 chan 管理任务流。

基础 HTTP 请求与响应处理

Go 自带的 net/http 足够发起 GET 请求。注意设置超时、User-Agent（绕过基础封锁）、禁用自动重定向（便于手动控制跳转逻辑）：

• 创建自定义 http.Client，设置 Timeout 防止卡死
• 在 req.Header.Set("User-Agent", "...") 中填入常见浏览器 UA
• 设 CheckRedirect 为 func(req *http.Request, via []*http.Request) error { return http.ErrUseLastResponse } 来拦截重定向，自己决定是否跟进
• 检查 resp.StatusCode 是否为 200/304，非 2xx 响应建议跳过或记录错误

HTML 解析与数据抽取

推荐使用 github.com/PuerkitoBio/goquery —— 它像 jQuery 一样支持 CSS 选择器，比标准库 html 包更直观：

• 用 goquery.NewDocumentFromReader(resp.Body) 加载响应体
• doc.Find("a[href]").Each(func(i int, s *goquery.Selection) { ... }) 提取所有链接
• s.Attr("href") 获取属性值，s.Text() 获取文本内容
• 对结构化数据（如商品标题、价格），用精确选择器如 doc.Find(".product-title").Text()
• 注意相对 URL：用 url.Join(baseURL, href) 转为绝对地址

并发控制与去重机制

盲目开 goroutine 容易被封或压垮目标站点。需限制并发数 + 全局 URL 去重：

巧文书

巧文书是一款AI写标书、AI写方案的产品。通过自研的先进AI大模型，精准解析招标文件，智能生成投标内容。

281

查看详情

立即学习“go语言免费学习笔记（深入）”；

• 用带缓冲的 channel（如 sem := make(chan struct{}, 10)）作为信号量，每次协程开始前 sem ，结束时 <code>
• 用 map[string]bool 或 sync.Map（并发安全）记录已访问 URL，防止重复抓取
• 将待抓取 URL 放进队列（如 chan string），主 goroutine 持续消费，新发现的链接再推入队列（BFS 模式）
• 可加简单延迟：time.Sleep(300 * time.Millisecond)，模拟人工访问节奏

健壮性与日志记录

真实场景中网络不稳定、页面结构变化、编码异常很常见，必须做容错：

• 用 defer resp.Body.Close() 防止文件描述符泄漏
• 用 charset.NewReaderLabel(resp.Body, resp.Header.Get("Content-Type")) 处理中文乱码（需引入 golang.org/x/net/html/charset）
• 所有关键操作（请求、解析、入库）用 recover() 或 if err != nil 包裹，打印错误但不中断整体流程
• 用 log.Printf 或轻量库（如 zerolog）记录成功/失败 URL、耗时、状态码，方便调试和监控

以上就是如何使用Golang开发URL爬虫工具_抓取网页内容并解析数据的详细内容，更多请关注php中文网其它相关文章！