使用 Python 获取 Wiki 词汇表页面下所有子页面的浏览量

soup = BeautifulSoup(html_content, 'html.parser')
page_titles = []

# 查找所有包含链接的 
 标签
for li in soup.find_all('li'):
    a_tag = li.find('a')
    if a_tag and a_tag.has_attr('href') and a_tag['href'].startswith('/wiki/'):
        title = a_tag['title']
        page_titles.append(title)

print(page_titles)

使用 Pageviews API 获取每个子页面的浏览量。 Pageviews API 的文档地址是：https://www.php.cn/link/e5e07cc9b49607a00a6d5c9be9b2c364

你可以通过构造 URL 并发送 HTTP 请求来获取浏览量。 Pageviews API 允许一次查询多个页面，页面标题之间用 | 分隔。 但是，一次查询的页面数量有限制，因此你需要分批查询。

import requests
import json

def get_pageviews(titles):
    base_url = "https://pageviews.toolforge.org/api/views/per-article/"
    params = {
        'articles': '|'.join(titles),
        'project': 'en.wikipedia.org',
        'access': 'all-access', # all-access, desktop, mobile
        'agent': 'user', # all-agents, user, spider
        'granularity': 'monthly', # daily, monthly
        'start': '2020010100', #YYYYMMDDHH
        'end': '2024010100' #YYYYMMDDHH
    }

    response = requests.get(base_url, params=params)
    response.raise_for_status()
    data = response.json()
    return data['items']


# 分批处理页面标题
batch_size = 50  # 一次查询的页面数量限制
all_pageviews = {}

for i in range(0, len(page_titles), batch_size):
    batch = page_titles[i:i + batch_size]
    pageviews = get_pageviews(batch)
    for item in pageviews:
        all_pageviews[item['article']] = item['views']

# 打印结果
for title, views in all_pageviews.items():
    print(f"{title}: {views}")

注意：

• 你需要根据 API 文档调整请求参数，例如 project、start、end 等。
• batch_size 的大小需要根据 API 的限制进行调整。
• get_pageviews 函数返回的是 JSON 数据，你需要解析它以获取浏览量。
• Pageviews API返回的是一段时间内的浏览量，你可以根据 granularity 参数选择每日或每月的浏览量。

5. 完整示例代码

将以上步骤整合起来，得到完整的示例代码：

import requests
from bs4 import BeautifulSoup
import json

def get_pageviews(titles):
    base_url = "https://pageviews.toolforge.org/api/views/per-article/"
    params = {
        'articles': '|'.join(titles),
        'project': 'en.wikipedia.org',
        'access': 'all-access', # all-access, desktop, mobile
        'agent': 'user', # all-agents, user, spider
        'granularity': 'monthly', # daily, monthly
        'start': '2020010100', #YYYYMMDDHH
        'end': '2024010100' #YYYYMMDDHH
    }

    response = requests.get(base_url, params=params)
    response.raise_for_status()
    data = response.json()
    return data['items']

url = "https://en.wikipedia.org/wiki/Glossary_of_areas_of_mathematics"
response = requests.get(url)
response.raise_for_status()
html_content = response.text

soup = BeautifulSoup(html_content, 'html.parser')
page_titles = []

# 查找所有包含链接的 
 标签
for li in soup.find_all('li'):
    a_tag = li.find('a')
    if a_tag and a_tag.has_attr('href') and a_tag['href'].startswith('/wiki/'):
        title = a_tag['title']
        page_titles.append(title)


# 分批处理页面标题
batch_size = 50  # 一次查询的页面数量限制
all_pageviews = {}

for i in range(0, len(page_titles), batch_size):
    batch = page_titles[i:i + batch_size]
    pageviews = get_pageviews(batch)
    for item in pageviews:
        all_pageviews[item['article']] = item['views']

# 打印结果
for title, views in all_pageviews.items():
    print(f"{title}: {views}")

注意事项和总结

• 请务必根据实际页面的 HTML 结构调整解析代码。
• Pageviews API 有请求频率限制，你需要合理控制请求频率，避免被封禁。
• 你可以根据需要修改请求参数，例如 start、end、granularity 等。
• 本教程提供了一个通用的方法，你可以将其应用于其他 Wiki 页面，只需要修改页面 URL 和解析代码即可。
• 可以考虑使用缓存机制，将已经获取过的浏览量缓存起来，避免重复请求 API。

通过本教程，你已经学会了如何使用 Python 从 Wiki 词汇表页面提取所有子页面的浏览量。 希望这些知识对你有所帮助！