爬虫遇到 IP 的问题，住宅 IP 可以爬取到想要的结果，但是代理或服务器 IP 就会被 302 如何解决？
respect11 · 2020-12-05 20:35:42 +08:00 · 1069 次点击这是一个创建于 1430 天前的主题，其中的信息可能已经有所发展或是发生改变。
代码确定没问题
在自己电脑上可以爬取到指定内容，但是在服务器上运行就会被 302.
找了多家的代理 IP 都会被拦截，有什么好的解决办法吗？
有想过让自己的电脑当代理服务器...但是没有一个好的实现思路
 |
1
s609926202 2020-12-05 20:59:22 +08:00 via iPhone
直接服务器 curl 试试，可能是 cookie 或者其他参数
|
 |
2
respect11 OP @s609926202 #1 服务器直接 curl 会被 302，然后在本地电脑 curl 没问题。。
|
 |
3
JCZ2MkKb5S8ZX9pq 2020-12-05 22:53:00 +08:00  1
猜猜
对方有云防护，ip 池全中。 代理服务器转发加了东西。 另外自家电脑当代理，为啥不直接用自家电脑爬算了。 |
|
4
JCZ2MkKb5S8ZX9pq 2020-12-05 22:54:41 +08:00 1
另外如果对方防护等级高的话，你直接看看用家里电脑高频请求试试，没准自家 ip 也很快废了。也就不用折腾这条路了。
|
 |
5
opengps 2020-12-05 23:09:08 +08:00 2
回复这个帖子先确定你只是为了自己研究使用为前提，免得造成教人面向监狱编程的事实。
对方服务器既然做了各大机房、甚至各种代理 ip 的封禁，那么说明对于反爬虫的目的极其强烈，建议慎重，甚至放弃。 如果个人确实有需要，那么可以用笔记本下的 4G 网络热点，不断重启热点网络连接方式来变更下当前出口 ip |
|
6
respect11 OP @opengps #5
@JCZ2MkKb5S8ZX9pq #4 感谢回复。研究所用，如果开放。会导致自己的付费账户被封禁，所以不会开放使用，均为自用。（新手爬虫，练手） 目前有其他开放的类似平台是可以获取到的😭 |
Select Language