文件名称:spider2006

  • 所属分类:
  • 搜索引擎
  • 资源属性:
  • [Windows] [Visual.Net] [源码]
  • 上传时间:
  • 2012-11-26
  • 文件大小:
  • 31kb
  • 下载次数:
  • 0次
  • 提 供 者:
  • ros****
  • 相关连接:
  • 下载说明:
  • 别用迅雷下载,失败请重下,重下不扣分!

介绍说明--下载内容均来自于网络,请自行研究使用

可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。

状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。

有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。

健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。

较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。

-C# spider.
(系统自动生成,下载前可以参看下载内容)

下载文件列表

spider_demo

...........\spider_demo.sln

...........\spider_demo.suo

...........\spider_demo

...........\...........\base64.cs

...........\...........\workThread.cs

...........\...........\spider_demo.cs

...........\...........\spider.cs

...........\...........\spider_demo.csproj

...........\...........\spider_demo.Designer.cs

...........\...........\Listener.cs

...........\...........\spider_demo.resx

...........\...........\bin

...........\...........\...\Release

...........\...........\...\.......\WebRegex.dll

...........\...........\...\.......\html

...........\...........\...\.......\yy.txt

...........\...........\...\Debug

...........\...........\...\.....\WebRegex.dll

...........\...........\...\.....\yy.txt

...........\...........\...\.....\html

...........\...........\obj

...........\...........\...\spider_demo.csproj.FileList.txt

...........\...........\...\Release

...........\...........\...\.......\TempPE

...........\...........\...\.......\......\Properties.Resources.Designer.cs.dll

...........\...........\...\.......\Refactor

...........\...........\...\Debug

...........\...........\Properties

...........\...........\..........\AssemblyInfo.cs

...........\...........\..........\Resources.resx

...........\...........\..........\Resources.Designer.cs

...........\...........\..........\Settings.settings

...........\...........\..........\Settings.Designer.cs

...........\...........\HtmlAnalyzer.cs

...........\...........\GetHtml.cs

...........\...........\Program.cs

...........\readme.txt

...........\spider_demo\CRC.cs

相关说明

  • 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
  • 本站是交换下载平台,提供交流渠道,下载内容来自于网络,除下载问题外,其它问题请自行百度更多...
  • 请直接用浏览器下载本站内容,不要使用迅雷之类的下载软件,用WinRAR最新版进行解压.
  • 如果您发现内容无法下载,请稍后再次尝试;或者到消费记录里找到下载记录反馈给我们.
  • 下载后发现下载的内容跟说明不相乎,请到消费记录里找到下载记录反馈给我们,经确认后退回积分.
  • 如下载前有疑问,可以通过点击"提供者"的名字,查看对方的联系方式,联系对方咨询.

相关评论

暂无评论内容.

发表评论

*主  题:
*内  容:
*验 证 码:

源码中国 www.ymcn.org