如何使用 Python 爬虫上传文件到数据库？下载文件（例如，使用 requests 库下载文件）转换数据（根据数据库要求转换为所需的格式）连接数据库（使用 PyMySQL 等库与数据库建立连接）准备 SQL 语句（准备包含占位符的插入语句）执行插入操作（使用 execute() 方法执行 SQL 语句，并提供转换后的数据）
如何使用 Python 爬虫将文件上传到数据库
简述：
使用 Python 爬虫将文件上传到数据库是一个多步骤的过程，涉及文件下载、数据转换和数据库操作。
详细步骤：
立即学习“Python免费学习笔记（深入）”；
1. 下载文件
- 使用
requests库发送 HTTP 请求下载文件。 - 将响应内容保存到本地文件系统。
2. 转换数据
- 根据数据库要求转换文件数据。
- 例如，将 CSV 文件转换为字典或 JSON 格式。
3. 连接数据库
- 使用
PyMySQL、psycopg2等库连接到数据库。 - 确保有必要的权限来执行插入操作。
4. 准备 SQL 语句
- 准备一个 SQL 插入语句以将数据插入数据库表。
- 包含必要的占位符以表示数据。
5. 执行插入操作
- 使用
execute()方法执行 SQL 插入语句。 - 提供转换后的数据作为参数。
- 提交更改以将数据永久存储在数据库中。
示例代码：
import requests
import pymysql
# 下载文件
response = requests.get('https://example.com/file.csv')
with open('file.csv', 'wb') as f:
f.write(response.content)
# 转换数据
data = []
with open('file.csv', 'r') as f:
for line in f:
fields = line.split(',')
data.append(
{'col1': fields[0], 'col2': fields[1], 'col3': fields[2]}
)
# 连接数据库
conn = pymysql.connect(host='localhost', user='user', password='password', db='database')
cursor = conn.cursor()
# 准备 SQL 语句
sql = "INSERT INTO table (col1, col2, col3) VALUES (%s, %s, %s)"
# 执行插入操作
for row in data:
cursor.execute(sql, (row['col1'], row['col2'], row['col3']))
# 提交更改
conn.commit() 
