在写爬虫，请问 https 的网站能爬嘛？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3774 天前的主题，其中的信息可能已经有所发展或是发生改变。

应该是可以的吧？还有啥叫分布式爬虫呢？

6 条回复 • 2015-07-02 20:56:32 +08:00

Septembers

2015-07-02 16:15:49 +08:00

可以
CC @binux

kenneth

2015-07-02 16:24:19 +08:00

分布式就是不是单机的用法，多机器的来爬。这样就Elastic。

learnshare

2015-07-02 16:26:48 +08:00

对网页内容来说，HTTP 和 HTTPS 并无差异

imlonghao

2015-07-02 16:35:06 +08:00 via Android

sivacohan

PRO

2015-07-02 20:53:59 +08:00 via Android

你的爬虫支持ssl就行，如果你用requests。
那http和https没什么区别。当然python2可能会踩到ssl的坑，可以通过patch来解决。

julyclyde

2015-07-02 20:56:32 +08:00

为什么会有这种问题