文件名称:NwebCrawler

  • 所属分类:
  • 搜索引擎
  • 资源属性:
  • [Windows] [Visual.Net] [源码]
  • 上传时间:
  • 2013-03-05
  • 文件大小:
  • 14kb
  • 下载次数:
  • 0次
  • 提 供 者:
  • suns****
  • 相关连接:
  • 下载说明:
  • 别用迅雷下载,失败请重下,重下不扣分!

介绍说明--下载内容均来自于网络,请自行研究使用

NwebCrawler是用C#写的一款多线程网络爬虫程序,它的实现原理是先输入一个或多个种子URL到队列中,然后从队列中提取URL(先进先出原则),分析此网页寻找相应标签并获得其href属性值,爬取有用的链接网页并存入网页库中,其中用爬取历史来记录爬过的网页,这样避免了重复爬取。提取URL存入队列中,进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。-NwebCrawler is a multi-threaded web crawler program written in C#, it is the realization of the principle of the first to enter one or more seed URL to the queue, and then extracted from the queue URL (FIFO principle), analysis of this page to find the appropriate label and get the href attribute value, useful links page crawling and deposited in the web library, with crawling history to record climbed pages, so to avoid a repeat of crawling. Extract URL stored in the queue, and the next one crawling. NwebCrawler search strategy is breadth-first search. Breadth-first strategy is conducive to multiple threads parallel crawling and crawling closed strong.
(系统自动生成,下载前可以参看下载内容)

下载文件列表





源代码

......\CrawlerThread.cs

......\CrawlHistroyEntry.cs

......\Downloader.cs

......\EventStream.cs

......\MemCache.cs

......\NWebCrawlerLib.csproj

......\Parser.cs

......\Program.cs

......\Settings.cs

......\UrlQueueManager.cs

......\Utility.cs

相关说明

  • 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
  • 本站是交换下载平台,提供交流渠道,下载内容来自于网络,除下载问题外,其它问题请自行百度更多...
  • 请直接用浏览器下载本站内容,不要使用迅雷之类的下载软件,用WinRAR最新版进行解压.
  • 如果您发现内容无法下载,请稍后再次尝试;或者到消费记录里找到下载记录反馈给我们.
  • 下载后发现下载的内容跟说明不相乎,请到消费记录里找到下载记录反馈给我们,经确认后退回积分.
  • 如下载前有疑问,可以通过点击"提供者"的名字,查看对方的联系方式,联系对方咨询.

相关评论

暂无评论内容.

发表评论

*主  题:
*内  容:
*验 证 码:

源码中国 www.ymcn.org