一个 scrapy 爬虫问题，求大家帮帮忙。 - V2EX

首页注册登录

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2558 天前的主题，其中的信息可能已经有所发展或是发生改变。

scrapy 怎么控制多个代理 IP 线程账号一一对应，且代理失效换代理账号失效换账号？

6 条回复 • 2017-05-01 09:17:17 +08:00

1

defunct9

2017-04-30 23:56:55 +08:00 via iPhone

这个你需要定期去更新活着可用的代理列表，scrapy 从这个代理池中获取代理即可

2

WildCat

2017-05-01 00:43:01 +08:00 via iPhone

1

过两天可能写个代理池爬虫开源

3

bozong

2017-05-01 02:54:13 +08:00 via iPhone

@WildCat 期待。。。。。。

4

gzlock

2017-05-01 08:08:06 +08:00 via Android

@WildCat 先预支一个 star

5

gamecmt

2017-05-01 08:55:04 +08:00 via iPhone

在 v 站搜搜就有，有个共享的，https://www.v2ex.com/t/340272#reply43

6

Tunar

2017-05-01 09:17:17 +08:00 via Android

从代理池中取

关于 · 帮助文档 · 博客 · API · FAQ · 我们的愿景 · 实用小工具 · 806 人在线 最高记录 6543 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 26ms · UTC 20:23 · PVG 04:23 · LAX 13:23 · JFK 16:23
Developed with CodeLauncher
♥ Do have faith in what you're doing.