2025年07月16日
要玩大数据，没有数据怎么玩？这里推荐一些33款开源爬虫软件给大家。
爬虫，即网络爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。
网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
2025年07月16日
站点总是某个时间段莫名的cpu100%，资源占用也不高，这就有必要怀疑爬虫问题。
1. 使用"robots.txt"规范
2025年07月16日
资源宝整理分享：https://www.htple.net
2025年07月16日
目前开源爬虫下载框架是百花齐放，各个编程语言都有，以下主要介绍其中重要的几个：
1)python:scrapy，pyspider，gcrawler
2)Java:webmagic，WebCollector，Crawler4j，heritrix，Nutch
3)Golang:Pholcus
2025年07月16日
现在做Heritrix抓取，由于java版本之类的，我选择用了3.1，可是大部分的资料都是介绍1.14的，太让人生气，尤其一个最简单的功能：让保留的文件是和这个域名下有关的文件，不要被js那些抽取的链接又访问到其他站点抓取。在1.14版本，已经非常多的扩展代码等，可是完全和3.1不同。
在这个前提下，我感觉是可以写个扩展替换的，我这里直接再源码中修改了，所改动的文件是
org.archive.crawler.postprocessor.CandidatesProcessor