采集器，通常又叫小偷程序，主要是用来抓取别人网页内容的。关于采集器的制作，其实并不难，就是远程打开要采集的网页，然后用正则表达式将需要的内容匹配出来，只要稍微有点正则表达式的基础，都能做出自己的采集器来的。
前几天做了个小说连载的程序，因为怕更新麻烦，顺带就写了个采集器，采集八路中文网的，功能比较简单，不能自定义规则，不过大概思路都在里面了，自定义规则可以自己来扩展。
用php来做采集器主要用到两个函数：file_get_contents()和preg_match_all()，前一个是远程读取网页内容的，不过只在php5以上的版本才能用，后一个是正则函数，用来提取需要的内容的。
下面就一步一步来讲功能实现。
因为是采集小说，所以首先要将书名、作者、类型这三个提取出来，别的信息可根据需要提取。
这里以《回到明朝当王爷》为目标，先打开书目页，链接：http://www.86zw.com/Book/3727/Index.aspx
多打开几本书会发现，书名的基本格式是：http://www.86zw.com/Book/书号/Index.aspx，于是我们可以做一个开始页，定义一个，用来输入需要采集的书号，以后就可以通过$_POST[‘number']这种格式来接收需要采集的书号了。接收到书号，下面要做的就是构造书目页：$url=http://www.86zw.com/Book/$_POST[‘number']/Index.aspx，当然这里是举个例子，主要是为了讲解方便，实际制作的时候最好检查一下$_POST[‘number']的合法性。
构造好URL以后就可以开始采集书籍信息了。使用file_get_contents() 函数打开书目页：$content=file_get_contents（$url），这样就能将书目页的内容都读取出来了。接下来就是将书名、作者和类型等信息匹配出来了。这里就以书名为例，其他的都一样。 打开书目页，查看源文件，找到“《回到明朝当王爷》”，这就是要提取出来的书名了。提取书名的正则表达式：/(.*?)\/is，使用preg_match_all()函数将书名取出：preg_match_all("/(.*?)\/is",$contents,$title);这样$title[0][0]的内容就是我们要的标题了（preg_match_all函数的用法可以去百度查，这里就不详细说明了）。取出了书籍信息，接下来就是取章节内容了，要取章节内容，首先要做的就是找到每一章的地址，然后远程打开章节，用正则将内容取出来，入库或者直接生成html静态文件。这个是章节列表的地址：http://www.86zw.com/Html/Book/18/3727/List.shtm，可以看出这个和书目页一样，是有规律可寻的：http://www.86zw.com/Html/Book/分类号/书号/List.shtm。书号前面已经取得，这里的关键是找到分类号，分类号可以在前面的书目页找到，提取分类号：
preg_match_all("/Html\/Book\/[0-9]{1,}\/[0-9]{1,}\/List\.shtm/is",$contents,$typeid);这样还不够，还需要一个切取函数：
PHP代码如下:
function cut($string,$start,$end){
$message = explode($start,$string);
$message = explode($end,$message[1]); return $message[0];}其中$string为要被切取的内容，$start为开始的地方，$end为结束的地方。取出分类号：
$start = "Html/Book/";
$end
= "List.shtm";
$typeid = cut($typeid[0][0],$start,$end);
$typeid = explode("/",$typeid);[/php]
这样，$typeid[0]就是我们要找的分类号了。接下来就是构造章节列表的地址了：$chapterurl = http://www.86zw.com/Html/Book/.$typeid[0]/$_POST[‘number']/List.shtm。有了这个就能找到每一章节的地址了。方法如下：
$ustart = "\"";
$uend
= "\"";
//t表示title的缩写
$tstart = ">";
$tend
= "//取路径,例如:123.shtm,2342.shtm,233.shtm
preg_match_all("/\"[0-9]{1,}\.(shtm)\"/is",$chapterurl,$url);
//取标题,例如:第一章 九世善人
preg_match_all("//is",$file,$title);
$count = count($url[0]);
for($i=0;$i{
$u = cut($url[0][$i],$ustart,$uend);
$t = cut($title[0][$i],$tstart,$tend);
$array[$u] = $t;
}
$array数组就是所有的章节地址了，到这里，采集器就完成一半了，剩下的就是循环打开每个章节地址，读取，然后将内容匹配出来。这个比较简单，这里就不详细叙述了。好了，今天就先写到这吧，第一次写这么长的文章，语言组织方面难免有问题，还请大家多包涵！
本篇文章来源于 站长资讯网 原文链接：http://webdevelop.chinahtml.com/2/2007/php-119440156516960.shtml
0
0
利用PHP制作简单的内容采集器的代码_PHP教程
php中文网
发布时间：2016-07-21 15:54:01
|928人浏览过
|来源于php中文网
原创
相关文章
匿名类能用作用域操作符吗_php7匿名类静态调用规则【技巧】
短链接怎么批量还原php_用多线程脚本提升处理速度【指南】
php8.4如何禁用危险函数_php8.4安全配置修改说明【指南】
php8.4date函数时区不对怎么办_php8.4时区配置修改教程【解答】
如何通过单次 AJAX 请求高效处理 50+ 表单项的动态数据加载？
相关标签:
本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
热门AI工具
相关专题
想找真正自由、无限制的上网体验？本合集精选2025年最开放、隐私强、访问无阻的浏览器App，涵盖Tor、Brave、Via、X浏览器、Mullvad等高自由度工具。支持自定义搜索引擎、广告拦截、隐身模式及全球网站无障碍访问，部分更具备防追踪、去谷歌化、双内核切换等高级功能。无论日常浏览、隐私保护还是突破地域限制，总有一款适合你！
7
2025.12.31
想让网页流畅播放视频？本合集详解HTML5视频播放核心方法！涵盖<video>标签基础用法、多格式兼容（MP4/WebM/OGV）、自定义播放控件、响应式适配及常见浏览器兼容问题解决方案。无需插件，纯前端实现高清视频嵌入，助你快速打造现代化网页视频体验。
4
2025.12.31
想快速上手HTML5开发？本合集为你整理最实用的HTML5使用指南！涵盖HTML5基础语法、主流框架（如Bootstrap、Vue、React）集成方法，以及无需安装、直接在线编辑运行的平台推荐（如CodePen、JSFiddle）。无论你是新手还是进阶开发者，都能轻松掌握HTML5网页制作、响应式布局与交互功能开发，零配置开启高效前端编程之旅！
2
2025.12.31
热门下载
相关下载
精品课程
最新文章
