欢迎访问分类目录网
快审联系QQ:158925126当前位置:分类目录网 » 站长资讯 » 技术教程 » 文章详细 订阅RssFeed

易大师采集器多线程采集设置

来源:本站原创 浏览:916次 时间:2017-08-10
易大师采集器多线程采集设置 其实很简单,如果要对一个站开两个线程,一个线程采集全部小说,另一个线程采集更新小说。
  1. 修改run.ini,添加下面两条,第一条默认是采集更新列表的,第二条是指定小说编号,现在的设置是从1到66542,可以根据自己的想法设置

    -rule hk020.com.xml -ca

    -rule hk020.com.xml -c 1-66542

  2. 修改start.sh(windows是start.bat)

    默认的java -jar spider.jar -ca & 改成 java -jar spider.jar -m &

重启采集器就可以啦,这样就可以最快的从一个网站把数据都抓过来啦!

等把对方站的数据采集的差不多了,就可以把-rule hk020.com.xml -c 1-66542 去掉啦,用更新列表就可以啦!



另外如果要采集多个站的话,就在run.ini再加几条规则就可以,当然在collect.ini里面也要修改哦,不然会报错的。

公司企业大全

推荐站点