易优CMS网站蜘蛛爬取日志访问统计查询插件

蜘蛛爬取日志网站插件介绍
一、易优蜘蛛访问统计插件目前统计的搜索引擎爬虫主要有：百度、谷歌、搜狗、360、Yandex、微软bing；
二、该插件只保留蜘蛛爬取最近30天的记录，避免给数据表过大的数据量，容易造成管理员在备份数据库时，因多余的无效数据导致备份失败。

Robots技巧
1、如何拒绝搜索引擎爬取不相关的JS接口URL；
如下图所示：JS接口URL都有一个特性，前缀是 /index.php?m=api&c=Ajax&a=

可以编辑网站的根目录下robots.txt文件，追加一条如下代码：
Disallow: /index.php?m=api&c=Ajax&a=*
2、如何拒绝搜索引擎爬取不想被收录的插件URL；
如下图所示：每个插件URL都有一个特性，前缀是 /index.php?m=plugins&c=插件标识

红色圈住的是一个微信分享插件，如果这个URL在浏览器上打开是无效页面，可以通过如下robots.txt规则进行屏蔽，拒绝搜索引擎爬取。
编辑网站的根目录下robots.txt文件，追加一条如下代码：

Disallow: /index.php?m=plugins&c=WeixinShare&a=*