URL编写对于Python爬虫至关重要，其结构包括协议、主机名、路径、查询字符串和片段标识符。可以使用urllib.parse模块编写和解析URL，它提供urlparse()、urlunparse()、quote()和unquote()等函数。特殊字符需要编码，而查询字符串包含附加信息并以问号开头。片段标识符以井号开头，用于指定页面内部的锚点。
Python爬虫URL编写
在Python爬虫中，编写URL对于获取目标页面至关重要。URL (统一资源定位符)标识互联网上的唯一资源，因此准确编写URL对于爬虫的成功至关重要。
URL结构
一个典型的URL由以下部分组成：
立即学习“Python免费学习笔记（深入）”；
- 协议：指定用于访问资源的传输协议，如HTTP或HTTPS
- 主机名：服务器或域名的名称
- 路径：资源的特定位置
- 查询字符串：可选，包含附加信息的键值对
- 片段标识符：可选，指定页面内部的特定锚点
编写Python爬虫URL
在Python爬虫中，可以使用urllib.parse模块来编写和解析URL。该模块提供以下函数：
- urlparse()：将URL解析为其组成部分。
- urlunparse()：将URL组件重新组装成一个完整的URL。
- quote()：对URL中的特殊字符进行编码。
- unquote()：对URL中的已编码字符进行解码。
例如，以下Python代码将生成一个完整的URL：
import urllib.parse # 指定协议、主机名和路径 protocol = "https" hostname = "example.com" path = "/page" # 创建URL组件元组 url_components = (protocol, hostname, path, "", "") # 使用urlunparse()组装URL url = urllib.parse.urlunparse(url_components) print(url)
输出：
https://example.com/page
特殊字符编码
URL中某些特殊字符需要进行编码，以确保它们正确传输。可以使用urllib.parse.quote()函数进行编码，例如：
import urllib.parse # 对特殊的查询字符串参数进行编码 query_string = "name=John Doe&age=25" encoded_query_string = urllib.parse.quote(query_string) print(encoded_query_string)
输出：
name%3DJohn%20Doe%26age%3D25
查询字符串
查询字符串包含附加信息，通常用于对URL进行过滤或排序。它以问号 (?) 开头，后跟键值对，例如：
https://example.com/search?q=python
其中，q是键，python是值。
片段标识符
片段标识符以井号 (#) 开头，用于指定页面内部的特定锚点，例如：
https://example.com/page#section-1
其中，section-1是片段标识符，它将滚动到页面中的#section-1位置。
