站点总是某个时间段莫名的cpu100%，资源占用也不高，这就有必要怀疑爬虫问题。

1. 使用"robots.txt"规范

PHP防火墙代码,防火墙,网站防火墙,WAF防火墙,PHP防火墙大全

资源宝整理分享：https://www.htple.net

目前开源爬虫下载框架是百花齐放，各个编程语言都有，以下主要介绍其中重要的几个：

1)python:scrapy，pyspider，gcrawler

2)Java:webmagic，WebCollector，Crawler4j，heritrix，Nutch

3)Golang:Pholcus

现在做Heritrix抓取，由于java版本之类的，我选择用了3.1，可是大部分的资料都是介绍1.14的，太让人生气，尤其一个最简单的功能：让保留的文件是和这个域名下有关的文件，不要被js那些抽取的链接又访问到其他站点抓取。在1.14版本，已经非常多的扩展代码等，可是完全和3.1不同。

在这个前提下，我感觉是可以写个扩展替换的，我这里直接再源码中修改了，所改动的文件是
org.archive.crawler.postprocessor.CandidatesProcessor

从7月1日起，定点医药机构销售药品需要扫“追溯码”才可进行医保结算。药品“追溯码”精准记录了每盒药品的生产、流通、销售等全过程的关键信息。这会带来怎样的影响？

扫码可以查询到哪些信息？

出现不同的查询结果说明什么？如果有问题，消费者应该怎么办？

国家医疗保障局基金监管司司长顾荣：如果查询到零次销售信息，说明这盒药没有经过医保结算，没有销售过，这是一盒正常的药。

查询到一次销售信息，说明这盒药之前经过医保结算。

这些年换驾照真是受罪。记得第一次去车管所，转了半小时没车位，进去排队排到腿发软，材料还缺复印件，折腾一整天啥都没办成。后来帮爸妈换证也闹心，光照片就拍废三次，不是戴错背景就是角度不对。最近发现换证居然不用去车管所了，手机和医院都能办，但真这么方便吗？

近日，路易斯-迪亚斯因未出席若塔葬礼而疑似参加网红活动引起热议，据西班牙媒体科贝电台的报道，路易斯-迪亚斯曾将相关照片上传到个人社媒，随后又删了。

科贝电台称，路易斯-迪亚斯，利物浦的当家球星之一。当时他身在哥伦比亚，并以商业活动为由缺席。实际上，他正在为一项网红足球赛事做宣传。

而另一方面，像鲁本-内维斯这样与若塔关系亲密的球员，在参加完世俱杯后，仍然乘坐了十小时的航班赶来，只为及时参加告别仪式。

路易斯-迪亚斯却没有这么做。更令人关注的是，

来源：澎湃新闻

花店店主朋友圈视频遭盗用被上传按摩App，涉事技师只愿赔偿450元调解失败

南宁李小姐发在朋友圈的个人视频，被上传到某按摩平台技师主页。技师亲友称，已道歉，愿赔偿450元，双方调解失败。李小姐称，将走法律途径解决。

驾驶证到期了怎么办？别急，交管12123APP让你足不出户就能完成换证！以往换证要跑车管所、排队、拍照、体检，费时又费力，而现在只需一部手机，10分钟轻松搞定。

换证前准备

7月9日，艺人周杰伦入驻抖音的消息引发关注。

红星新闻记者注意到，截至9日下午6时许，周杰伦在抖音平台上虽然还未发布作品，但是已累积了超600万粉丝。此外记者注意到，周杰伦此前在其他短视频平台上也曾开有实名认证账号，以快手平台为例，其2020年6月就已入驻，到目前已积累粉丝超4800万。

周杰伦抖音平台粉丝数已经超600万

7月8日，有网络传言称抖音与周杰伦签约花费了9位数。对此，抖音相关负责人回应称，网传的抖音花费9位数与周杰伦签约的传言为谣言。红星新闻记者在抖音平台看到，周杰伦的认证账号昵称为“周同學”，身份显示是“歌手”。截至9日下午6时许，虽然账号还没有视频内容发布，但是已经收获了超过600万粉丝的关注。