使用 scrapy meta 传递参数
在 scrapy 中，itemparser 可以使用 meta 字典来传递参数，这允许我们将列表页抓取的信息与详情页抓取的信息合并到同一个 item 中。
具体步骤：
- 在列表页 itemparser 中抓取标题、时间和 url：
def parse(self, response):
# 获取列表页的标题、时间、url
title = response.css("h1::text").get()
time = response.css(".time::text").get()
url = response.css("a::attr(href)").get()
# 将列表页信息放入 meta 字典中
meta = {
"title": title,
"time": time,
"url": url
}
# 通过 request 回调给详情页 itemparser
yield request(url, callback=self.parse_item, meta=meta)- 在详情页 itemparser 中抓取内容并合并列表页信息：
def parse_item(self, response):
# 获取详情页的内容
content = response.css(".content::text").get()
# 从 meta 字典中获取列表页信息
meta = response.meta
title = meta["title"]
time = meta["time"]
url = meta["url"]
# 创建 Item 并赋值
item = Item()
item["title"] = title
item["time"] = time
item["url"] = url
item["content"] = content
yield item通过这种方式，我们可以在详情页 itemparser 中访问列表页抓取的信息，并将它们与详情页抓取的内容合并到同一个 item 中。
