百度
百度的spider的user agent都会包含 Baiduspider 字符串。
相关资料：http://www.baidu.com/search/spider.htm
google
google的spider的user agent都会包含 Googlebot 字符串。
相关资料：http://www.google.com/bot.html
soso
soso的spider的user agent都会包含 Sosospider 字符串
相关资料：http://help.soso.com/webspider.htm
sogou
sogou的spider的user agent都会包含 Sogou web spider 字符串
相关资料：http://www.sogou.com/docs/help/webmasters.htm#07
其他的也都差不多。。。可以自行查看下网站的access log。
如何通过php程序控制 spider 的行为？
通过 $_SERVER["HTTP_USER_AGENT"] 获取来访者的 user agent，然后判断是否含有相应的搜索引擎spider的特定字符串，再采取后续动作就可以了。
BJXSHOP网上开店专家
下载
BJXShop网上购物系统是一个高效、稳定、安全的电子商店销售平台，经过近三年市场的考验，在中国网购系统中属领先水平；完善的订单管理、销售统计系统；网站模版可DIY、亦可导入导出；会员、商品种类和价格均实现无限等级；管理员权限可细分；整合了多种在线支付接口；强有力搜索引擎支持... 程序更新：此版本是伴江行官方商业版程序，已经终止销售，现于免费给大家使用。比其以前的免费版功能增加了：1，整合了论坛
|
$user_agent = $_SERVER["HTTP_USER_AGENT"]; if ( eregi("Googlebot",$user_agent) ) { // is google's spider access, you can do something for it~ } ?> |
