第一次见,robots 还真的把百度给挡了

[yaoye555]

https://s2.ax1x.com/2019/11/13/MG2jNq.png

hi-pda

[shansing]

原则上如果真的给挡了，百度甚至就不该显示这条索引结果。个人认为这还是在打擦边球，你看隔壁就清新很多：

> 一些其他的搜索引擎有时会利用 anchor 等信息，对特定被禁止抓取的路径（如首页），生成和 nosnippet 等同效果的展现，但我们会慎重处理这种灰色地带的行为。

[pi1ot]

@shansing

www.hi-pad.com/robots.txt
User-agent: *
Disallow:/app/
Disallow:/admin/
Disallow:/Framework/
Disallow:/Public/
Disallow:/Upload/

并没有禁止全站抓取

[pi1ot]

不好意思打错域名了，确实禁止了全站抓取

http://www.hi-pda.com/robots.txt
User-agent: *
Disallow: /

[shansing]

@pi1ot 唔，你域名打错了。请看 https://www.hi-pda.com/robots.txt

[est]

http://blog.est.im/robots.txt 这么巧。我也屏蔽了。BIDU

[TomatoYuyuko]

有很多啊,今天查菜鸟裹裹,发现他们官网就是限制了

[nicoljiang]

天猫的不就挡住了么？

[yaoye555]

@nicoljiang 以前用百度没发现, 刚刚去搜了几个关键词 确实都被挡了

[zdnyp]

你见过百度搜索结果里有淘宝宝贝？...

[Orciorc]

这个，没有哪个大搜索引擎不遵守吧，毕竟会碰上法律责任的。

[chtan]

https://i.loli.net/2019/11/13/S3esKgMIcjHYbkv.jpg 看了下自己的博客

[lovestudykid]

@shansing 隔壁的 Google 行为跟百度一样
ImageHi!PDA › forum
Web results
HiPda
No information is available for this page.
Learn why

[auchan]

@shansing google 一样可以搜索到的，搜出来的样子和百度的差不多

[shansing]

@lovestudykid
@auchan
我说的隔壁是 Magi 啦（逃