连续的分页采集问题

php中文网

发布时间：2016-06-06 20:38:28

1515人浏览过

来源于php中文网

原创

目标站点：http://news.xinhuanet.com/photo/2015-01/29/c_127433852.htm
获取内容：正文图片和文字说明；
本人实现方法：
因为分页地址是连续的，我是在目标地址上做循环

http://news.xinhuanet.com/photo/2015-01/29/c_127433852_2.htm

用get_headers访问后获取返回是否为200，是的话进行内容抓取
1、curl获取当前地址html后，截取所需内容
2、_2这个就是变量，自增后继续判断下一页是否可以访问，可以访问就继续采集

以上是可以实现采集抓取的，但是好像速度很慢，而且每次都是curl去抓取对服务器貌似也有压力

佳可商务购物程序 2004

在原版的基础上做了一下修正评论没有提交正文的问题特价商品的调用连接问题去掉了一个后门补了SQL注入补了一个过滤漏洞浮动价不能删除的问题不能够搜索问题收藏时放入购物车时出错点放入购物车弹出2个窗口修正主题添加问题商家注册页导航连接问题销售排行不能显示更多问题热点商品不能显示更多问题增加了服务器探测增加了空间使用查看增加了在线文件编辑增加了后台管理里两处全选功能更新说明：后台的部分功能已经改过前台

下载

问题：如何改进，大家是如何用php做的抓取，求思路和方向

回复内容：

http://news.xinhuanet.com/photo/2015-01/29/c_127433852_2.htm

以上是可以实现采集抓取的，但是好像速度很慢，而且每次都是curl去抓取对服务器貌似也有压力

问题：如何改进，大家是如何用php做的抓取，求思路和方向

下面不是有分页么，直接获取

里面的链接存到数组抓吧

直接抓取，抓取返回结果的时候就先判断状态码是否为200
Curl并发

php485怎么实现断线重连_php485连接稳定性保障方案【方法】

PHP主流架构如何处理高并发_优化策略汇总【技巧】

短链接还原php报错500_查看服务器错误日志找原因【解答】

php转exe用什么工具好_主流php打包工具对比推荐【汇总】

php在Mac怎么配置_使用Homebrew安装PHP及相关扩展说明【说明】

相关专题

excel制作动态图表教程

本专题整合了excel制作动态图表相关教程，阅读专题下面的文章了解更多详细教程。

2025.12.29

freeok看剧入口合集

本专题整合了freeok看剧入口网址，阅读下面的文章了解更多网址。

2025.12.29

俄罗斯搜索引擎Yandex最新官方入口网址

Yandex官方入口网址是https://yandex.com；用户可通过网页端直连或移动端浏览器直接访问，无需登录即可使用搜索、图片、新闻、地图等全部基础功能，并支持多语种检索与静态资源精准筛选。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

197

2025.12.29

python中def的用法大全

def关键字用于在Python中定义函数。其基本语法包括函数名、参数列表、文档字符串和返回值。使用def可以定义无参数、单参数、多参数、默认参数和可变参数的函数。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

2025.12.29

python改成中文版教程大全

Python界面可通过以下方法改为中文版：修改系统语言环境：更改系统语言为“中文（简体）”。使用 IDE 修改：在 PyCharm 等 IDE 中更改语言设置为“中文”。使用 IDLE 修改：在 IDLE 中修改语言为“Chinese”。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

2025.12.29

C++的Top K问题怎么解决

TopK问题可通过优先队列、partial_sort和nth_element解决：优先队列维护大小为K的堆，适合流式数据；partial_sort对前K个元素排序，适用于需有序结果且K较小的场景；nth_element基于快速选择，平均时间复杂度O(n)，效率最高但不保证前K内部有序。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

2025.12.29