到目前为止，到底有没有一种防爬虫但是不会误伤谷歌爬虫的完美方法？

[alwayshere]

自己一个网站，都是自己辛辛苦苦用键盘敲出来的数据，纯原创站，自己很用心在做这个网站，但是说实话，一个新手都可以用火车头不费吹灰之力把我的网站数据全爬过去，其实如果不是谷歌的话，我想了很多种防爬虫的手段，比如：

1. js 生成数据，抓取 phantomjs 之类的 headless 浏览器的特征码， ban 掉它
2. 同一个 ip 短时间内抓取数据太多， ban 掉它
3. 没有 header 之类的访问， ban 掉它
4. 检测客户端访问抓取 css 文件没有，没有的话就 ban 掉它
5. 客户端 js 加密一个 token ，和服务器端公用一个 key 来解密，每次提交都要验证这个 token
6. 学习Flickr一样，任何搜索结果只显示4000个结果，避免一次性清仓大处理被爬虫抓完了，后台把sitemap所有数据提交给谷歌，但是貌似这样会不会伤及SEO，毕竟内链之间就断开了

感觉这些合在一起基本可以过滤大部分新手了，但是，这些很有可能把可爱的谷歌爬虫给误伤了，现在服务器端验证 header 为 Googlebot 貌似也不起任何作用，都可以伪造，大家有哪些防爬虫但是不会误伤谷歌爬虫的完美方法？讨论一下，谢谢

[just4test]

不是可以通过 IP 验证吗

[alwayshere]

@just4test 谷歌有哪些 ip ？

[vbs]

搜索关键字：
google crawler 验证

[alwayshere]

@vbs 谢谢，世界上搜索引擎还有很多， bing yandex 百度 搜狗之类的 感觉验证完好渺茫

[rocksolid]

如果不嫌麻烦能不能先放部分数据，部分垃圾数据，等过个一两天再把真实数据更新上去

[gouchaoer]

天真

[binux]

没有。即使假设有，再不济，我去抓 google 不就好了。

[danmary61]

这个真没有

[KeepPro]

把所有的数据展示都放到 canvas 里面显示，或者生成图片。

[annielong]

折中方案就是显示一半，剩下的加个强验证，通过后显示，

[sobigfish]

不用每次访问都验证 IP 啊，首次见的（疑似） bot 验证，过了的 IP 就加入到你特定的白名单里

[Zzzzzzzzz]

没有， 而且各引擎为了评估网站是否针对它们吐数据作弊， 都会有其他非公开的 UA 和 IP 段的爬虫做检验， 你这样反而适得其反

[mnhkahn]

useragent 可以判断

[golmic]

楼主能不能告诉我地址我想练练我的爬虫技能...

[doubleflower]

内容里面随机插网站名字 /网址，别人相当于给你免费宣传了

[smallaccount]

搜索引擎原创识别才是最根本的吧
另外就是版权的法律保护，国外如果 copy 的话貌似可以直接主机商关站的

[clino]

ip 确实可以哈 https://support.google.com/webmasters/answer/80553
$ host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

[TaMud]

你都把衣服脱光了给人家看了
你说你要怎么样保护密秘？？

你可以把整个网页变成一张图片

你也可以把整个网站做成一个 flash

[usernametoolong]

你不放网址我们怎么帮你提高一下？（捂脸

[ningcool]

纯原创的话，一天你写不了几篇文章。所以，哪怕你技术上屏蔽了别人，你无法阻挡别人去复制啊！

[ihuzhou]

@golmic 兄台爬过网易云的吗，我被里面的加密难住了

[grayon]

您使用的 IP 访问网站过于频繁,为了您的正常访问,请先输入验证码

[hyuwang]

可以数据不要放全
让浏览引擎索引到关键字和标题就行了

用户浏览的时候多点一下才能拿到全部的 content
感觉现在挺多国外网站这么干

[TaMud]

难道 你们不知道 有 selenium 这东西？？？

[rockivy]

插个题外话，以前还真的爬过 canvas 画的数据。比如下面这个 URL 里面：

http://v.qq.com/datacenter/0dfpyvfa7tp0ewe.html

一些具体的数字就是用 canvas 画出来的。

办法就是先截图，然后调用 OCR 识别图片上面的数字。
当时用的 tesseract ，对数字的识别准确率还蛮高的（当然对图片有些简单的放大和二值化处理之后，准确率才上来的）。

不过，上面这个腾讯的视频指数页面，有些别的反爬处理，很难搞，最终还是放弃了。

[shiny]

不知道有没有人可以通过法律角度讲讲可以怎么做。

[lan894734188]

把 Google 的 as 添加到白名单

[lgpqdwjh]

我们是实现一个 漏桶 来处理这样的事情的， 针对流量分析一下 ip 均匀请求量 自动调整漏桶大小， 如果爬的比较猛就直接 ban 掉 ip ， 值得一提的是 这样的方法防不住有心的爬虫， 总的来讲我们是想挡住恶意的高频请求用户

至于完全的防爬， 我觉得是不可能懂， 人家真想要你的数据， 办法多的是。。

[techmoe]

那估计就只能靠 ip 识别了

[yxzblue]

楼主是产品？

[golmic]

@ihuzhou 我去试试看，能详细点告诉我爬哪些项目吗？

[dsg001]

只担心 googlebot ，不担心真实用户吗，在乎 seo 就别在乎爬虫，只要爬虫直接去爬 google 缓存，再强的反爬虫策略也没用

[ioioioioioioi]

谷歌蜘蛛可以判断 ip 的 hostname

[professorz]

客户端生成 cookie 二次请求才呈现数据 很多航司网站是这样做的 你可以找一下相应的工具

[misaka20038numbe]

没有,再厉害你能把用户的屏幕给关了吗?所以你可以换一种方式,比如让文章个性化,让别人一看就知道是你.

[WildCat]

不可能，我可以模拟得你监测不出来。
Keywords:
- nightmare
- phantom
- selenium

[samuel]

并没有，只要正常的用户能看到，爬虫就能爬到，只能尽量在不损害正常用户的体验情况下，提高爬虫获取数据的成本

[llhh]

没有。

[ihuzhou]

@golmic 就是歌手最热歌曲的页面，想获得 songId

[libook]

前端分两套，正常业务页面和 SEO 页面，把能暴露出去的且希望搜索引擎爬到的防盗 SEO 页面里，正常页面做好防爬措施，使用流量技术+搜索引擎配置的方式引导搜索引擎去爬 SEO 页面。

[breeswish]

只要网站还允许普通人访问就阻止不了(定向开发的)爬虫，只能提高门槛。

模拟浏览器行为绕过客户端验证：楼上 WildCat 说了
模拟网络绕过 IP 验证：代理池

另外也可以直接爬谷歌 :)

[lisir]

咋不放出网站

[param]

Google 访问的时候自带了 user agent ，写明是 Google bot ，但是，如果爬虫知道你的规则并且伪装 Google bot 的话。。。。

[param]

Google 没有一种机制可以验证 Google bot 的身份吗？不如说自带给 token ，需要验证这个 token 才知道它是不是 bot

[wjm2038]

@param 反查 ip ，谷歌官方做法

[zyjhkd]

你好，这样的程序 好做吗？留个联系方式哈，打包出售吗？