用java写的一个网络蜘蛛，他可以从指定的URL开始解析抓取网页上的URL，对于抓取到的URL自动分成站内外URL，并可以设置抓取的深度。-Using java to write a Web Spider, he can from the specified URL to start crawling on the page to resolve URL, the URL for the crawler to automatically

c#实现抓取网络资源的网络蜘蛛。使用这个程序，可以通过一个入口网址来扫描整个互联网的网址，并将这些扫描到的网址所指向的网络资源下载到本地 -c# implementation of the network resources to crawl the web spiders. The use of this procedure can be imported through a Web site to scan the entire I

这个程序可以用于爬网页的目录与内容, 网页需要是树状结构如：www.wikipedia.org-WebSpider for getting contents and indexings of web pages with a tree structure.