dedecms采集功能使用 内容批量添加

dedecms采集功能通过设置规则自动抓取网页内容，使用步骤为：1.进入后台“采集”菜单新建节点；2.填写节点名称与采集网址；3.设置标题、正文、图片等正则规则；4.测试规则准确性；5.审核并发布采集内容；6.可启用多页采集实现批量处理。核心技巧包括：标题可用/(.*?)/，正文需根据实际html结构调整，图片采集配合本地化功能，设置过滤规则清除广告。常见问题如采集失败多因正则错误，乱码需调整页面编码，速度慢可优化线程数。为避免封ip，应设置采集间隔、使用代理ip、模拟浏览器user-agent，并遵守robots.txt协议。适度采集、尊重版权是关键原则。

DedeCMS的采集功能，说白了就是让你不用手动复制粘贴，就能把网上其他地方的内容搬到你自己的网站上。批量添加内容，省时省力是真，但用不好也容易出问题。

解决方案

DedeCMS的采集功能藏在后台，“采集”菜单里。你得先新建一个“采集节点”，这个节点就像一个采集规则，告诉DedeCMS去哪里抓取什么内容。

1. 新建采集节点： 填写节点名称，设置采集网址（就是你要采集的那个页面地址）。
2. 设置采集规则： 这是最关键的。DedeCMS用的是正则表达式来匹配内容。你需要告诉它，文章标题在哪里，正文在哪里，作者在哪里等等。这个需要你懂一点正则表达式的知识，或者至少能看懂别人写的规则。
3. 测试采集规则： 设置好规则后，一定要测试一下，看看能不能正确抓取到内容。如果抓取不到，就需要修改正则表达式。
4. 发布内容： 采集到内容后，DedeCMS会把内容放到一个“未审核”列表里。你需要手动审核，然后才能发布到网站上。
5. 批量添加： 如果你需要采集很多页面，可以设置“多页采集”，让DedeCMS自动抓取多个页面。

采集节点设置的核心技巧

采集节点这东西，说简单也简单，说复杂也复杂。核心就在于你的正则表达式写得好不好。

佳蓝在线销售系统(创业版) 佳蓝在线销售

1、对ASP内核代码进行DLL封装，从而大大提高了用户的访问速度和安全性；2、采用后台生成HTML网页的格式，使程序访问速度得到进一步的提升；3、用户可发展下级会员并在下级购买商品时获得差额利润；4、全新模板选择功能；5、后台增加磁盘绑定功能；6、后台增加库存查询功能；7、后台增加财务统计功能；8、后台面值类型批量设定；9、后台财务曲线报表显示；10、完善订单功能；11、对所有传输的字符串进行安全

0

查看详情

• 标题规则： 标题一般都比较好找，用<h1></h1>、<h2></h2>标签包裹的可能性很大，可以试试/<h>(.*?)/</h>这样的规则。
• 正文规则： 正文就比较麻烦了，因为正文的HTML结构千奇百怪。你需要仔细观察目标网站的HTML代码，找到正文所在的<div>或者<code><p></p>标签。可以用/<div class="content">(.*?)/这样的规则，但要根据实际情况修改<code>class名称。
• 图片规则： 如果要采集图片，可以用<img src="(.*?)" alt="dedecms采集功能使用 内容批量添加" >这样的规则，抓取<code><img alt="dedecms采集功能使用 内容批量添加" >标签的src属性。但是要注意，有些网站的图片是防盗链的，你需要设置DedeCMS的“图片本地化”功能，把图片下载到自己的服务器上。
• 过滤规则： 有些网站的内容有很多广告、链接、JS代码等等，你需要用“过滤规则”把这些东西过滤掉。可以用正则表达式来匹配这些内容，然后替换成空字符串。

DedeCMS采集功能常见问题及解决方案

• 采集不到内容： 最大的可能性是正则表达式写错了。仔细检查你的正则表达式，看看是不是能正确匹配到内容。可以用在线的正则表达式测试工具来测试。
• 采集到的内容乱码： 可能是目标网站的编码和DedeCMS的编码不一致。可以在采集节点设置里设置“页面编码”，选择正确的编码。
• 采集速度慢： 可能是目标网站的服务器太慢，或者你的服务器太慢。可以尝试增加DedeCMS的“采集线程数”，但要注意不要把目标网站的服务器搞崩溃了。
• 采集到的内容有错误： 可能是目标网站的内容本身就有错误，或者你的采集规则不够完善。需要手动修改采集到的内容。

如何避免采集被封IP？

采集这种行为，说白了就是“爬虫”，如果你的采集频率太高，很容易被目标网站封IP。

• 设置采集间隔： 在采集节点设置里，可以设置“采集间隔”，让DedeCMS每隔一段时间才采集一次。
• 使用代理IP： 可以使用代理IP来隐藏你的真实IP地址。DedeCMS支持使用代理IP，你可以在采集节点设置里设置代理IP。
• 模拟浏览器： 可以设置DedeCMS的“User-Agent”，模拟成不同的浏览器。这样可以增加采集的隐蔽性。
• 尊重 robots.txt： 遵守目标网站的robots.txt协议，不要采集robots.txt禁止采集的页面。

采集功能是把双刃剑，用好了能省很多事，用不好也会惹麻烦。记住，适度采集，尊重别人的劳动成果。