这是一个创建于 949 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题所述
我想搞个热点聚合页面，每天给自己看看新闻，吃吃瓜啥的
爬取热点信息的频率为 10~20 分钟一次，不知道会不会被封 ip
这方面我不是很懂，没啥经验
之前爬过豆瓣的电影排行榜，结果爬的频率过高就给我封了一晚上
有自己的服务器，后端打算用 nodejs 写
v 友们有啥好的建议吗？
我想搞个热点聚合页面，每天给自己看看新闻，吃吃瓜啥的
爬取热点信息的频率为 10~20 分钟一次，不知道会不会被封 ip
这方面我不是很懂，没啥经验
之前爬过豆瓣的电影排行榜，结果爬的频率过高就给我封了一晚上
有自己的服务器，后端打算用 nodejs 写
v 友们有啥好的建议吗？
 |
1
ClericPy 2022-05-14 23:18:32 +08:00
目前多数网站我这边 5 分钟一次没发现反爬
有些网站走了机器学习等思路反反爬, 抓取频率如果太均衡或者非人类作息什么的会反爬, 但是大多数对网站不造成伤害的频率都是安全的. 以上是反爬角度, 至于法务角度就不赘述了 |
 |
2
Ultraman 2022-05-14 23:22:28 +08:00 via Android
看看 rsshub 有没有相关路由先？
|
|
4
Ultraman 2022-05-15 12:39:56 +08:00 via Android  1
|
 |
6
brave256 2022-05-16 09:15:24 +08:00 1
可以参考下 https://tophub.today/
|
Select Language