网站 nginx 错误日志里面有大量百度过来的访问不存在目录文件记录?请问是什么情况
king2014 · 2018-04-04 10:53:18 +08:00 · 1425 次点击这是一个创建于 2430 天前的主题，其中的信息可能已经有所发展或是发生改变。
每天超过 5 万条这种错误日志
1.先查了下网站下面的这个目录.可以确认的是没有这个 /ys/fakeimg/目录,应该是从开始就没有存在过
2.403forbidden 是我 nginx 做了处理控制访问目录.
3.查了下下这些 ip 基本上都是属于百度爬虫,前天设置 Robots 文件禁止爬取这个目录,还是不停访问这个不存在的目录
4.虽然对我网站也没什么影响,表面上看不出来影响,但是每天那么多错误访问看着心里不舒服
5.现在我如何调查为什么百度的 ip 大量的访问这个不存在的目录呢?
下面是日志截图,隐藏了我自己网站域名了
https://wx1.sinaimg.cn/mw690/725fbea0gy1fq0foz14i3j219n0noq9x.jpg
 |
1
king2014 OP  |
 |
2
locktionc 2018-04-04 10:58:57 +08:00
/ys/fakeimg/有点像很久之前的永硕网盘的地址。。。
|
 |
3
7654 2018-04-04 11:00:17 +08:00
查查这个域名&IP 历史，百度以前收录过了吧
|
 |
5
sisterth 2018-04-04 11:10:14 +08:00
如果网站正常收录，且排名不受影响的话，可以不用管，现在日志都没怎么看了，除了上新站的时候看一下蜘蛛的爬取记录
|
 |
8
aaronchou0 2018-04-04 11:14:26 +08:00
怎么有点像我之前做的网站呢
|
|
9
king2014 OP @aaronchou0 什么意思?
|
Select Language