超级强大的网站
文章采集器，本
软件全名为红叶
文章采集器，英文名称Fast_Spider，属于蜘蛛爬虫类程序，用于从指定网站
采集海量
精华文章，将直接丢弃其中的垃圾网页信息，仅保存具备阅读价值和浏览价值的
精华文章，自动执行HTM-TXT转换。本
软件为绿色
软件解压即可使用！
软件特色
(1)本
软件采用北大天网MD5指纹排重算法，对于相似相同的网页信息，不再重复保存。
(2)
采集信息含义：[[HT]]表示网页标题，[[HA]]表示
文章标题，[[HC]]表示10个权重关键字，[[UR]]表示网页中的图片链接，[[TXT]]之后为正文。
(3)蜘蛛性能：本
软件开启300个线程来保证
采集效率。通过
采集100万
精华文章来执行压力测试，以普通网民的联网计算机为参考标准，单台计算机可以在一天内遍历200万网页、
采集20万
精华文章，100万
精华文章仅需5天就可
采集完毕。
(4) 正式版与免费版的区别在于：正式版允许将
采集的
精华文章数据自动保存为ACCESS数据库。购买正式版请联系QQ(970093569)。
操作方法
(1)使用前，必须确保你的计算机可以连通网络，且防火墙不要拦截本
软件。
(2)运行SETUP.EXE和setup2.exe，以安装操作系统system32支持库。
(3)运行spider.exe，输入网址入口，先点"人工添加"按钮，再点"启动"按钮，将开始执行
采集。
注意事项
(1)抓取深度：填写0表示不限制抓取深度;填写3表示抓到第3层。
(2)通用蜘蛛模式与分类蜘蛛模式的区别：假定网址入口为“http://youxi.baidu.com/”，若选择通用蜘蛛模式，将遍历“baidu.com”里面的每一个网页;若选择分类蜘蛛模式，则只遍历“youxi.baidu.com”里面的每一个网页。
(3) 按钮“从MDB导入”：网址入口从TASK.MDB中批量导入。
(4)本
软件采集的原则是不越站，例如给的入口是“http://youxi.baidu.com/”，就只在百度站点内部抓取。
本文地址：http://sicmodule.glev.cn/quote/7804.html
歌乐夫 http://sicmodule.glev.cn/ , 查看更多
