对于初学者而言，推荐安装Scrapy或Beautiful Soup爬虫框架。要安装Scrapy，运行命令pip install scrapy，而对于Beautiful Soup，则运行命令pip install beautifulsoup4。验证安装后，可以使用Scrapy爬虫或Beautiful Soup解析HTML文档进行网页抓取。
Python爬虫框架安装教程
1. 选择爬虫框架
对于初学者，推荐使用以下两种爬虫框架：
- Scrapy：功能强大、可扩展的Web爬虫框架
- Beautiful Soup：一个更简单的库，适用于解析和提取HTML文档
2. 安装Scrapy
立即学习“Python免费学习笔记（深入）”；
在命令提示符或终端中，运行以下命令：
pip install scrapy
3. 安装Beautiful Soup
在命令提示符或终端中，运行以下命令：
pip install beautifulsoup4
4. 验证安装
打开Pythonインタプリタ，并运行以下代码：
# 导入Scrapy import scrapy # 导入Beautiful Soup from bs4 import BeautifulSoup
如果代码运行成功，则表明框架已成功安装。
5. 运行Scrapy爬虫
创建新的Scrapy项目：
scrapy startproject my_project
切换到项目目录：
cd my_project
运行爬虫：
scrapy crawl my_spider
6. 使用Beautiful Soup解析HTML
创建一个新的Python脚本：
from bs4 import BeautifulSoup # 获取HTML文档 html = '标题
段落
' # 创建Beautiful Soup对象 soup = BeautifulSoup(html, 'html.parser') # 提取标题 title = soup.find('h1').get_text() # 提取段落 paragraph = soup.find('p').get_text() print(title) print(paragraph)
运行脚本以查看提取的结果。
