经常被采集的技术层面处理方法

小站新站被采集，自己网站没收录或者没排名，被权重网站采集，而变成了别人的嫁衣，反馈又没有实质性可以证明自己的内容。注意：即使按照下面的说法做也无法杜绝采集，毕竟防君子不防小人。

优化层面

1、添加内容时候增加一些，能代表自己的东西“XXX网提示” “XXX提醒”，品牌词的变种词“百度知道”变成“bai度了解”“佰镀知道”，对方采集没有及时替换的情况下，反馈可以充当证据，不要说内容是自己原创的他人采集为什么算他的，没有实际证据的情况，也可能你采集他人的把时间给修改提前了。

2、给图片增加水印。

技术层面

被采集站点必须有最新入口，才会被采集者采集到最新且没有收录的内容，我们只要考虑，新内容不被采集到的，等新内容收录之后，在放出来，它采集意义也不大。

1、延时更新首页，首页尽可能不要实时更新，几天一更新，网站把蜘蛛养起来之后首页就可以更新不那么勤快了，举例百度经验，百度知道 首页根本没有最新内容。

2、延时更新列表，和首页道理一样，只要做好主动推送和sitemap就不用考虑首页列表引导蜘蛛进入到最新内容里。

3、限制列表页数，限制5-10页，没有用户翻几十页上百页的。正常用户都是有需求才来，我的网站就限制十页，百度经验限制3页，还不是最新内容。

4、限制用户列表页面展示内容数量。

5、内容页链接尽可能无规则，避免使用递增有规律的url，假如链接有规律递增，采集者不需要最新入口都可以采集最新内容，使用百度近一周收录获取到最新链接进行递增。

举例: htt ps://jin gyan.baidu.com/article/1.html

htt ps://jin gyan.baidu.com/article/2.html

以此类推

htt ps://jing yan.baidu.com/article/99999999.html

爱奇艺、腾讯视频、链接无规则，就很难采集。

一般提交内容，后台就会生成静态页面，只要把静态页提交给百度就好。

我常用的这些办法就是以上这些，完全屏蔽不了，采集者甚至用代理IP抓相关内容爬搜索结果页来采集你。

不建议新站这么操作，等到蜘蛛稳定爬取了，还可以偷偷懒，偷懒更新不一定是坏事，让勤快的采集者无路可走。

注：动态站你也可以选择调用几天前的数据。提前做好sitemap主动api推送等操作。

限制访客IP的通常做法我就不说了，大家可以百度。

内容来源：百度站长论坛

原文链接：http://bbs.zhanzhang.baidu.com/thread-2191267-1-1.html