理解挑战：HTML中内嵌的JSON数据
在web数据抓取过程中，我们经常会遇到网页源代码中直接包含json格式数据的场景。这类数据并非通过标准的html标签（如
步骤1：加载必要的R包
首先，确保已安装并加载rvest和jsonlite这两个库。
# 如果尚未安装，请先运行以下命令
# install.packages("rvest")
# install.packages("jsonlite")
library(rvest)
library(jsonlite)步骤2：读取网页内容
使用rvest::read_html()函数读取目标网页的全部内容。即使页面主体是JSON，read_html仍会将其视为一个HTML文档。
url <- "https://example.com/data.json" # 请替换为你的目标网址
page_content <- read_html(url)
# 查看读取到的内容，会发现JSON数据被包裹在HTML结构中
print(page_content)
# {html_document}
#
# [1] [\n{\n"title1" : "abc 123",\n"title2" : "bca 321",\n...
步骤3：提取原始文本字符串
这是关键一步。我们需要使用html_text()函数从page_content对象中提取出所有的纯文本内容。对于本例，这将直接得到包含JSON数据的完整字符串。
json_string <- html_text(page_content)
# 打印字符串以确认其内容为JSON格式
print(json_string)
# [
# {
# "title1" : "abc 123",
# "title2" : "bca 321",
# ...步骤4：解析JSON数据
现在我们拥有了纯粹的JSON字符串，可以使用jsonlite::parse_json()函数对其进行解析。为了方便后续的数据操作，建议将simplifyDataFrame参数设置为TRUE，这会尝试将嵌套的JSON对象扁平化为数据框。
parsed_json_data <- jsonlite::parse_json(json_string, simplifyDataFrame = TRUE) # 查看解析后的数据结构 str(parsed_json_data) # 'data.frame': 2 obs. of 4 variables: # $ title1: chr "abc 123" "aec 183" # $ title2: chr "bca 321" "bga 351" # $ title3: chr "cba 213" "cha 293" # $ title4:'data.frame': 2 obs. of 2 variables: # ..$ title5: chr "title6" "title6" # ..$ title7:List of 2 # .. ..$ : num -17662 987622 # .. ..$ : num -1.62e+09 6.52e+08
从str()的输出可以看出，parsed_json_data现在是一个数据框，其中title4是一个嵌套的数据框，而title4$title7则是一个包含列表的列表，每个子列表代表原始JSON中的一个title7数组。
步骤5：定位并提取目标数据
根据str()的输出，我们可以通过链式索引来访问title4$title7。由于title7是一个列表，其每个元素又是一个包含两个数值的向量，我们可以使用do.call(rbind, ...)将其转换为一个矩阵或数据框，方便进一步处理。
# 提取 title7 的数据
target_data <- do.call(rbind, parsed_json_data$title4$title7)
# 为结果添加列名（可选）
colnames(target_data) <- c("title7_1", "title7_2")
# 添加一个ID列（可选）
final_result <- data.frame(id = 1:nrow(target_data), target_data)
# 打印最终结果
print(final_result)
# id title7_1 title7_2
# 1 1 -1.766235e+04 987621.8
# 2 2 -1.621626e+09 652238322.1至此，我们已成功从HTML中内嵌的JSON数据中提取出了所需的title7信息，并将其整理成了一个结构化的数据框。
注意事项
- JSON格式的准确性：确保从网页提取的文本是有效的JSON格式。如果JSON字符串存在语法错误，jsonlite::parse_json()会报错。
- simplifyDataFrame参数：simplifyDataFrame = TRUE在多数情况下能将JSON转换为易于操作的数据框，但对于非常复杂或结构不规则的JSON，可能需要手动处理嵌套的列表。
- 网络请求失败：在实际应用中，应考虑网络连接问题或目标网站响应异常。可以使用tryCatch等机制进行错误处理。
- 网站结构变化：Web Scraping依赖于目标网站的结构。如果网站更新，其HTML或JSON的结构可能会改变，导致现有代码失效。定期检查和维护是必要的。
- 合法性与道德：在进行Web Scraping时，务必遵守目标网站的robots.txt文件规定，尊重网站的使用条款，并避免对服务器造成过大负担。
总结
本教程展示了一种在R语言中处理HTML页面内嵌JSON数据的有效方法。通过结合rvest库的read_html()和html_text()函数来提取原始文本，再利用jsonlite库的parse_json()函数将JSON字符串转换为R数据结构，我们可以灵活地访问和处理这些数据。这种方法克服了传统HTML节点选择器在处理非标准HTML结构数据时的局限性，为Web Scraping提供了更广阔的可能性。
