是百度蜘蛛抽风了吗? 求 V 友解答!

[wujunze]

今天去百度看看我博客的收录情况,发现一个奇怪的问题.

百度说我的网站存在 robots.txt 指令限制? 我立马检查了一下我的 robots.txt

发现我的 robos.txt 并没有问题 之前百度收录也是正常的 https://wujunze.com

** 我看看 Google 和 360 收录是否正常

Google 和 360 收录都是正常的

那我就搞不明白百度蜘蛛这是闹哪样?

请 V 友帮忙解答一下

[wujunze]

有没有知道的?

[Lullaby]

你之前有没有限制过 BaiduSpider ？

[wujunze]

@Lullaby 重来没有限制过 BaiduSpider

[m939594960]

去站长工具看看 有个 robots 检测
还有百度出现这种问题挺正常的。
site:***.com 经常会出问题，有的时候还会混进别的额网站，有的时候关键词描述 完全不符

你可以随便查个关键词（能找到你的网站的） 看看底下的东西对不

[wujunze]

@m939594960 去站长工具检测 robots.txt 了 是没有限制的
我网站的百度收录全掉了
* 现在搜关键词搜不到我的网站了

[m939594960]

观察了半天 发现真的没什么问题。。 mark 下等高人解密

[just1]

请问一下 sitemap 是用什么生成的呢。之前用百度提供的 wordpress 插件，刚刚看了一下，从 20151122 之后就再也没更新了 wtf ，怪不得几个月没新收录

[cxh116]

开了 https ，百度掉了正常。

[wujunze]

@just1 我刚才去检查了一下,我的 sitemap 生成的没问题 之前收录一直是正常的,突然就全掉了
@cxh116 这个 robots.txt 限制跟 HTTPS 没有关系吧 ** 我之前一直开启 HTTPS ** 网站收录也是正常的

[wujunze]

@Lullaby
@m939594960
@just1
@cxh116 帖子要沉了....... 有没有高手帮忙解答一下? 帮忙邀请点高手来回答

[Lullaby]

看下你 80/443 端口的 access 日志有没有机器人爬取记录
实在不行把 robots.txt 先去掉
不一定是技术原因，人为原因也是可能的你懂的，百度这货谁知道

[techyan]

百度，你懂的。反正我自己的站开全站 https+HSTS ，百度索引完全正常，并且很勤。

[wujunze]

@Lullaby 我检查一下日志 百度这货....
@techyan 我的网站之前一直收录正常的,昨天突然发现收录的全掉了

[zangbob]

如果不太懂设计 robots.txt ，就直接删了，不要放。

[wujunze]

@zangbob robots.txt 的指令是没有问题的