搜索引擎蜘蛛管理后台

黑名单

白名单模式

黑名单： 

黑名单的内容不采集， 其他内容采集。

白名单： 

只采集白名单的内容，其他的内容不采集。

和手机黑名单 的规则一样

域名模式

不限制模式 

仅路径模式

域名模式：

只是域名，不带任何路径 例如: http://www.123.com

仅路径模式：

收录入库的必须要带路径 例如: http://www.123.com/123/ 包含http://www.123.com/123/sss.html

不限制模式：就是上述2种一起收录

停止

启动

启动：

启动蜘蛛自动运行,包含(URL爬行，采集，入库等)

停止：

停止蜘蛛,停止工作,包含(URL爬行，采集，入库等)

顺序模式

循环模式

顺序模式：

按照ID由小到大这样排序，到最后没数据，自动停止，等待有新数据后，接着ID继续跑。

循环模式： 

按照ID由小到大这样排序，到最后没数据，重新由ID1开始爬行。

浏览器的

USERAGENT

默认：

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36

实例一：

Mozilla/5.0 (compatible;swspider/1.0;+https://www.alibw.com)

实例二：

Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36 www.alibw.com