收藏

文件名称:crawler-1.0-sources

  • 所属分类：
  • 搜索引擎
  • 资源属性：
  • [Java] [源码]
  • 上传时间：
  • 2013-05-21
  • 文件大小：
  • 24kb
  • 下载次数：
  • 0次
  • 提 供 者：
  • c***
  • 相关连接：
  • 无
  • 下载说明：
  • 别用迅雷下载，失败请重下，重下不扣分！
修正介绍说明

介绍说明－－下载内容均来自于网络，请自行研究使用

网络蜘蛛是通过网页的链接地址来寻找网页



网络蜘蛛

，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。

----这样看来，网络蜘蛛就是一个爬行程序，一个抓取网页的程序-internet crawler
(系统自动生成,下载前可以参看下载内容)

下载文件列表





crawler-1.0-sources

...................\META-INF

...................\........\MANIFEST.MF

...................\net

...................\...\vidageek

...................\...\........\crawler

...................\...\........\.......\component

...................\...\........\.......\.........\DefaultLinkNormalizer.java

...................\...\........\.......\.........\Downloader.java

...................\...\........\.......\.........\ExecutorCounter.java

...................\...\........\.......\.........\LinkNormalizer.java

...................\...\........\.......\.........\PageCrawlerExecutor.java

...................\...\........\.......\.........\UrlUtils.java

...................\...\........\.......\.........\WebDownloader.java

...................\...\........\.......\config

...................\...\........\.......\......\CrawlerConfiguration.java

...................\...\........\.......\......\CrawlerConfigurationBuilder.java

...................\...\........\.......\......\http

...................\...\........\.......\......\....\Cookie.java

...................\...\........\.......\ContentVisitor.java

...................\...\........\.......\exception

...................\...\........\.......\.........\CrawlerException.java

...................\...\........\.......\link

...................\...\........\.......\LinksFinder.java

...................\...\........\.......\link\DefaultLinkFinder.java

...................\...\........\.......\....\FrameLinkFinder.java

...................\...\........\.......\....\IframeLinkFinder.java

...................\...\........\.......\page

...................\...\........\.......\Page.java

...................\...\........\.......\PageCrawler.java

...................\...\........\.......\PageVisitor.java

...................\...\........\.......\page\ErrorPage.java

...................\...\........\.......\....\OkPage.java

...................\...\........\.......\....\RejectedMimeTypePage.java

...................\...\........\.......\queue

...................\...\........\.......\.....\DelayedBlockingQueue.java

...................\...\........\.......\Status.java

...................\...\........\.......\Url.java

...................\...\........\.......\visitor

...................\...\........\.......\.......\DoesNotFollowVisitedUrlVisitor.java

...................\...\........\.......\.......\DomainVisitor.java

...................\...\........\.......\.......\RejectAtDepthVisitor.java

相关说明

  • 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
  • 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。更多...
  • 请直接用浏览器下载本站内容，不要使用迅雷之类的下载软件，用WinRAR最新版进行解压.
  • 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
  • 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
  • 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
查看所有评论

相关评论

暂无评论内容．

发表评论

*主　　题：
*内　　容：
*验 证 码：

源码中国 www.ymcn.org